[논문 리뷰] Line Search Methods for Convex-Composite Optimization

James V. Burke, Abraham Engle|arXiv (Cornell University)|2018. 06. 13.

Advanced Optimization Algorithms Research인용 수 3

한 줄 요약

이 논문은 복합 구조를 가진 비미분 가능이고 무한값을 가질 수 있는 볼록 복합 최적화 문제를 위한 선 탐색 방법을 제안한다. 이는 가우스-뉴턴 보조문제로부터 유도된 내림방향을 사용하며, 방향 도함수의 연속적 근사화를 통해 약한 Wolfe 선 탐색과 백트래킹 선 탐색을 가능하게 하여, 미분 가능하지도 않고 무한값을 가질 수 있는 문제에 대해 전역 수렴을 보장한다.

ABSTRACT

We consider descent methods for solving infinite-valued nonsmooth convex-composite optimization problems that employ search directions derived from Gauss-Newton subproblems. The descent algorithms are based on either a weak Wolfe or a backtracking line search using a continuous approximation to the directional derivative that exploits the structure associated with convex-composite problems.

연구 동기 및 목표

• 비미분 가능하고 무한값을 가질 수 있는 복합 구조를 가진 볼록 복합 최적화 문제를 해결하는 데 도전하는 것.
• 목적 함수가 미분 가능하지 않거나 무한값을 가질 경우에도 전역 수렴을 유지하는 내림방향 알고리즘을 개발하는 것.
• 복합 최적화 문제의 구조를 활용하여 효율적이고 신뢰할 수 있는 선 탐색 전략을 설계하는 것.
• 방향 도함수의 연속적 근사를 통해 약한 Wolfe 또는 백트래킹 선 탐색을 사용하여 수렴을 보장하는 것.

제안 방법

• 이 방법은 최적화 문제의 복합 구조에 맞게 조정된 가우스-뉴턴 보조문제를 풀어 얻은 내림방향을 사용한다.
• 복합 최적화 프레임워크를 활용하여 선 탐색 절차를 가능하게 하는, 방향 도함수의 연속적 근사를 사용한다.
• 목적 함수의 충분한 감소를 보장하기 위해 약한 Wolfe 선 탐색 또는 백트래킹 선 탐색을 적용한다.
• 복합 문제의 구조와 보조문제의 해에 기반하여 무한값을 가진 함수를 다룰 수 있도록 설계되어 있다.
• 표준 가정 하에 연속적 방향 도함수 근사와 내림방향 성질을 활용하여 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 무한값을 가질 수 있고 비미분 가능한 복합 복합 최적화 문제에 대해 선 탐색 방법을 어떻게 적응시킬 수 있는가?
• RQ2 복합 문제에서 방향 도함수를 효과적으로 근사하는 방법은 무엇인가, 이를 통해 선 탐색을 가능하게 할 수 있는가?
• RQ3 약한 Wolfe 또는 백트래킹 선 탐색이 이러한 문제에 적용되었을 때 전역 수렴을 보장할 수 있는가?
• RQ4 가우스-뉴턴 보조문제가 이 맥락에서 내림방향 계산에 어떻게 기여하는가?

주요 결과

• 제안된 선 탐색 방법은 무한값을 가진 목적 함수를 가진 복합 복합 최적화 문제에 대해 전역 수렴을 달성한다.
• 방향 도함수의 연속적 근사는 비미분 가능한 환경에서 선 탐색 전략의 실용적 구현을 가능하게 한다.
• 약한 Wolfe 선 탐색과 백트래킹 선 탐색이 모두 제안된 프레임워크와 효과적으로 작동함이 입증되었다.
• 가우스-뉴턴 기반 내림방향은 신뢰할 수 있고 문제의 구조를 고려한 최적화 접근법을 제공한다.