[논문 리뷰] Adaptive Three Operator Splitting

Fabián Pedregosa, Gauthier Gidel|arXiv (Cornell University)|2018. 04. 06.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 선형 검색을 사용하여 스텝 사이즈를 동적으로 조정하는 적응형 세 연산자 분할 방법을 제안한다. 수동 조정이 필요 없이 수렴 보장을 유지하면서도, 일반적인 볼록 함수에 대해 준선형 수렴과 강한 볼록성 및 미세 조정 조건 하에서 선형 수렴을 달성한다. 반복마다 추가로 두 번의 함수 평가만 필요하며, 초기 추정값을 제외한 하이퍼파rameter 의존성은 없다.

ABSTRACT

We propose and analyze an adaptive step-size variant of the Davis-Yin three operator splitting. This method can solve optimization problems composed by a sum of a smooth term for which we have access to its gradient and an arbitrary number of potentially non-smooth terms for which we have access to their proximal operator. The proposed method sets the step-size based on local information of the objective --hence allowing for larger step-sizes--, only requires two extra function evaluations per iteration and does not depend on any step-size hyperparameter besides an initial estimate. We provide an iteration complexity analysis that matches the best known results for the non-adaptive variant: sublinear convergence for general convex functions and linear convergence under strong convexity of the smooth term and smoothness of one of the proximal terms. Finally, an empirical comparison with related methods on 6 different problems illustrates the computational advantage of the proposed method.

연구 동기 및 목표

• 복합 볼록 최적화를 위한 Davis-Yin 세 연산자 분할 방법의 적응형 스텝 사이즈 변종을 개발하기 위해.
• 고정 또는 전역 추정 스텝 사이즈에 대한 의존성을 제거하여 실무에서 최적화되지 않을 수 있는 문제를 해결하기 위해.
• 비적응형 변종과 동일한 수렴 속도를 유지하면서도 실용적 성능을 향상시키기 위해.
• 스무스 항과 여러 개의 비스무스 항을 포함하는 문제에 대해 효율적인 최적화를 가능하게 하기 위해.
• 초기 스텝 사이즈 추정값 외에 다른 스텝 사이즈 하이퍼파rameter가 필요로 하지 않으며, 국소 정보를 이용해 스텝 사이즈를 적응적으로 선택할 수 있는 방법을 제공하기 위해.

제안 방법

• 각 반복에서 충분한 감소 조건을 기반으로 적응적으로 스텝 사이즈를 설정하기 위해 백트랙킹 선형 검색 전략을 사용한다.
• 제품 공간 공식화를 통해 세 연산자 분할 프레임워크를 임의의 수의 프록시멀 항을 다룰 수 있도록 확장한다.
• 알고리즘은 반복마다 스무스 항의 그래디언트와 비스무스 항의 프록시멀 연산자를 한 번씩 평가한다.
• 스텝 사이즈 선택을 위한 아르미조 유형의 충분한 감소 조건을 확인하기 위해 반복마다 추가로 두 번의 함수 평가를 수행한다.
• 적응형 스텝 사이즈는 목적 함수의 충분한 감소를 보장하는 백트랙킹 선형 검색에 의해 결정된다.
• 이 방법은 사다리꼴 최적화 알고리즘으로 해석되어, 기존 Davis-Yin 분석보다 더 넓은 일반성과 더 낫게 조정된 수렴 속도를 갖는 새로운 수렴 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 세 연산자 분할 방법에 대해 실용적 성능을 향상시키되 수렴 보장 조건을 훼손하지 않는 적응형 스텝 사이즈 전략을 개발할 수 있는가?
• RQ2 국소 정보를 기반으로 한 적응형 스텝 사이즈 선택이 고정 또는 전역 추정 스텝 사이즈에 비해 수렴 속도와 안정성 측면에서 어떻게 비교되는가?
• RQ3 적응형 변종의 반복 복잡도는 무엇이며, 비적응형 방법의 최고 성능 비율과 일치하는가?
• RQ4 제품 공간 공식화를 통해 임의의 수의 비스무스 항을 다룰 수 있는가?
• RQ5 적응 메커니즘의 계산적 오버헤드는 무엇이며, 추가 함수 평가에도 불구하고 여전히 효율적인가?

주요 결과

• 제안된 적응형 세 연산자 분할 방법은 일반적인 볼록 함수에 대해 준선형 수렴을 달성하며, 비적응형 변종의 최고 성능 비율과 일치한다.
• 스무스 항의 강한 볼록성과 한 개의 프록시멀 항의 스무스성 조건 하에서, 방법은 선형 수렴을 보이며, 비적응형 경우와 일치한다.
• 반복마다 추가로 두 번의 함수 평가만 필요하여, 적응형 스텝 사이즈 선택에도 불구하고 계산적으로 효율적이다.
• 여섯 가지 다른 문제에 대한 실험 결과는, 모든 테스트 벤치마크에서 시간 대 목적 함수의 최적성 도달 측면에서 관련 방법보다 적응형 방법이 뛰어난 성능을 보임을 보여준다.
• 초기 추정값 외에 스텝 사이즈 하이퍼파rameter에 의존하지 않아 조정 부담이 크게 감소한다.
• 수렴 분석은 새로운 사다리꼴 해석에 기반하여, 원래 Davis-Yin 분석보다 향상되고 더 일반적인 수렴 속도를 도출한다.