[논문 리뷰] Line Search and Trust-Region Methods for Convex-Composite Optimization

James V. Burke, Abraham Engle|arXiv (Cornell University)|2018. 06. 13.

Advanced Optimization Algorithms Research참고 문헌 20인용 수 4

한 줄 요약

이 논문은 볼록-복합 최적화 문제 $\min_x h(c(x)) + g(x)$를 해결하기 위해 배경선 탐색, 약한 울프 탐색, 신뢰역전략의 세 가지 강하 방법을 제안하고 분석한다. 여기서 $h$는 볼록함수, $g$는 닫힘·정의된 볼록함수, $c$는 $C^1$-스무스 함수이다. 주요 기여는 온건한 가정 하에 국소 최적점으로의 전역 수렴을 증명한 것으로, 이는 모델 함수 $\Delta f(x;d)$를 통한 강하와 스텝 사이즈 및 신뢰역 반경에 대한 보호 조치를 통해 확립된다.

ABSTRACT

We consider descent methods for solving non-finite valued nonsmooth convex-composite optimization problems that employ Gauss-Newton subproblems to determine the iteration update. Specifically, we establish the global convergence properties for descent methods that use a backtracking line search, a weak Wolfe line search, or a trust-region update. All of these approaches are designed to exploit the structure associated with convex-composite problems.

연구 동기 및 목표

• 기계학습 및 동역학에서 발생하는 효율적이고 전역 수렴성을 보장하는 알고리즘의 필요성 해결.
• $g$가 희소성이나 제약 조건을 유도하는 $h(c(x)) + g(x)$의 구조를 활용하는 강하 방법 개발 및 분석.
• 배경선 탐색, 약한 울프 탐색, 신뢰역 전략의 세 가지 방법에 대해 가우스-뉴턴 유형의 보조 문제를 사용하여 전역 수렴성을 확립.
• 유한값이거나 프록시 방법에 국한된 이전 연구를 넘어서, 무한값을 가진 비가속성 복합 문제에 대한 수렴 보장을 제공.

제안 방법

• 강하 방향 $d^k$를 계산하기 위해 가우스-뉴턴 보조 문제를 사용하여 $\Delta f(x^k; d) = h(c(x^k) + \nabla c(x^k)d) + g(x^k + d) - f(x^k)$ 를 $\|d\| \leq \eta_k$ 를 만족시키며 최소화한다.
• 모델 함수 $\Delta f(x;d)$ 를 방향 도함수의 대체로 사용하여 아르미조 타입 조건을 적용한 백트래킹 선 탐색을 구현한다.
• 모델 함수 $\Delta f(x;d)$ 를 사용해 강하와 곡률 조건을 추정함으로써 비가속성, 무한값을 가진 함수에 대해 약한 울프 선 탐색을 적응시킨다.
• 스텝 사이즈를 반경 $\delta_k$ 로 제어하는 신뢰역 전략을 적용하며, 예측된 감소량과 실제 감소량 간의 비교에 기반해 반경을 적응적으로 조정한다.
• 보안 메커니즘을 도입: 반복점이 너무 오랫동안 고정된 이웃 지역에 머무르면 목적 함수가 $-\infty$ 로 발산하게 되어 가정에 위배된다.
• 모델 함수 $\Delta f(x;d)$ 를 사용해 강하 조건 $\Delta f(x^k; d^k) < 0$ 를 정의하고, 파라미터 $\beta_1, \beta_2, \kappa_1, \kappa_2$ 를 통해 충분한 감소를 보장한다.

실험 결과

연구 질문

• RQ1 무한값을 가진 비가속성 볼록-복합 문제에 대해 배경선 탐색 및 약한 울프 탐색 방법을 어떻게 적응시킬 수 있는가?
• RQ2 가우스-뉴턴 보조 문제를 기반으로 한 신뢰역 전략이 이러한 문제에 대해 전역 수렴성을 보장하는가?
• RQ3 비가속성 함수에 대한 선 탐색 및 신뢰역 전략 프레임워크에서 방향 도함수를 대체하기 위해 $\Delta f(x;d)$ 를 모델 함수로 사용할 수 있는가?
• RQ4 목적 함수가 충분히 감소하고 반복점이 정류점으로 수렴하기 위한 조건은 무엇인가?
• RQ5 제안된 방법들은 프록시 또는 표준 가속 최적화 방법과 비교해 수렴 행동과 가정에서 어떻게 다를 수 있는가?

주요 결과

• 백트래킹, 약한 울프, 신뢰역 전략 방법은 온건한 가정 하에 모두 첫째 순서 정류점으로의 전역 수렴을 보장한다.
• 전역 수렴은 모순에 의해 확립된다: 반복점이 유계이면서 수렴하지 않으면 목적 함수가 무한히 감소하게 되어 가정에 위배된다.
• 모델 함수 $\Delta f(x;d)$ 는 비가속성 환경에서 방향 도함수를 대체하여 강하 조건과 곡률 조건을 정의하는 데 사용된다.
• 신뢰역 전략은 $\delta_k$ 를 통한 스텝 사이즈 제어로 충분한 감소를 보장하며, 예측 감소량이 달성되지 않으면 적응적으로 개선된다.
• 약한 울프 선 탐색은 $\Delta f(x;d)$ 를 사용해 강하와 곡률 조건을 추정함으로써 무한값 문제에 적응시키며, 비가속성 $g$ 에도 적용 가능하게 된다.
• 반복점의 모든 클러스터 점 $\bar{x}$ 는 첫째 순서 정류점이며, 정리 6.1의 가정 하에 $\Delta^C_1 f(\bar{x}) = 0$ 이다.