[논문 리뷰] Forward-backward truncated Newton methods for convex composite optimization

Panagiotis Patrinos, Lorenzo Stella외 1명|arXiv (Cornell University)|2014. 02. 26.

Advanced Optimization Algorithms Research참고 문헌 56인용 수 29

한 줄 요약

이 논문은 전방-후방 환원(FBE)이라는 매끄럽고 정확한 페널티 함수로 비가속 문제를 비제약 최소화 문제로 재구성함으로써, 볼록 복합 최적화를 위한 두 가지 프록시멀 뉴턴-CG 방법을 제안한다. 이 방법들은 효율적인 CG 기반 뉴턴 단계를 소형 선형 시스템에 적용하여 전역 복잡도 한계를 확보하면서 Q-초선형 또는 Q-이차 수렴 속도를 달성한다.

ABSTRACT

This paper proposes two proximal Newton-CG methods for convex nonsmooth optimization problems in composite form. The algorithms are based on a a reformulation of the original nonsmooth problem as the unconstrained minimization of a continuously differentiable function, namely the forward-backward envelope (FBE). The first algorithm is based on a standard line search strategy, whereas the second one combines the global efficiency estimates of the corresponding first-order methods, while achieving fast asymptotic convergence rates. Furthermore, they are computationally attractive since each Newton iteration requires the approximate solution of a linear system of usually small dimension.

연구 동기 및 목표

• f가 매끄럽고 g가 비가속이지만 효율적인 프록시멀 매핑을 갖는 형태의 볼록 복합 최적화 문제 min f(x) + g(x)를 효율적으로 해결하는 데 도전한다.
• 일반적인 1차 방법(예: 느린 수렴)의 한계와 비가속 환경에서의 2차 방법의 높은 비용을 극복하기 위해 매끄러운 재구성 방법을 도입한다.
• 소형 선형 시스템을 활용하여 저비용 반복 복잡도를 유지하면서도 전역 수렴성과 빠른 초선형 수렴 속도를 갖는 알고리즘을 개발한다.
• 해결책 근처의 헤시안 근사에서의 희소성과 구조를 활용하여 대규모 문제 및 온전한 재시작이 가능한 효율적인 해법을 가능하게 한다.

제안 방법

• 복합 문제 min f(x) + g(x)를 전방-후방 환원(FBE)으로 재구성하여, 연속적으로 미분 가능한 정확한 페널티 함수인 비제약 최소화 문제로 변환한다.
• 비가속 분석 도구를 활용하여 FBE의 그래디언트의 일반화된 미분 가능성 성질을 도출하고, 헤시안에 대한 선형 뉴턴 근사(LNA)를 구성한다.
• 매 반복 단계에서 뉴턴 시스템을 근사적으로 해결하기 위해 공액 그래디언트(CG) 방법을 적용하여 명시적 헤시안 형성 방지를 통해 확장성을 확보한다.
• 두 가지 알고리즘을 설계한다: FBN-CG I는 선색색전략을 사용하고, FBN-CG II는 1차 방법의 전역 수렴 추정치와 빠른 국소 수렴을 결합한다.
• 계속성 파rameter λ의 감소하는 값들에 대해 문제를 풀음으로써 온전한 재시작을 활용한다. 더 큰 λ에서 시작하여 λ₀로 진행한다.
• 희소성, 크로네커乘법 등 행렬 구조를 활용하여 행렬-벡터 곱과 잔여항을 효율적으로 계산함으로써 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 비가속 복합 최적화 문제는 등가로 비제약적이고 매끄러운 최적화 문제로 재구성될 수 있으며, 유리한 수렴 성질을 갖는가?
• RQ2 이러한 매끄러운 재구성에 대해 뉴턴 유형의 방법을 설계하여 빠른 국소 수렴을 달성하면서도 전역 수렴 보장을 유지할 수 있는가?
• RQ3 문제의 구조를 활용하고 CG와 같은 반복적 해법을 사용함으로써 뉴턴 단계의 계산 비용을 낮출 수 있는가?
• RQ4 제안된 방법은 표준 1차 방법(FBS, APGL)과 다른 2차 방법(LADM)에 비해 반복 횟수와 SVD 사용 측면에서 우월한가?
• RQ5 이 프레임워크는 준-뉴턴 또는 신뢰영역 방법으로 확장될 수 있으며, 비볼록 문제로 일반화될 수 있는가?

주요 결과

• 전방-후방 환원(FBE)은 연속적으로 미분 가능한 정확한 페널티 함수로서, 비가속 복합 문제를 비제약 매끄러운 문제로 변환한다.
• 제안된 FBN-CG I 및 FBN-CG II 알고리즘은 비퇴화된 경우 Q-초선형 또는 Q-이차 수렴 속도를 달성하며, 전역 복잡도 한계를 확보한다.
• 행렬 완성 테스트에서 FBN-CG I 및 II는 n=100–500일 때 평균적으로 54–84회의 반복과 126–151회의 SVD를 요구하였으며, LADM(최대 1000회의 반복)에 비해 뛰어나고 APGL과 정확도는 유사하지만 각 반복의 SVD 비용은 더 높았다.
• 모든 테스트 케이스에서 FBN-CG 방법은 상대 오차가 2e-4 이하로 일관되게 달성하였고, LADM은 더 큰 행렬에서 1000회의 반복 내 수렴에 실패하였다.
• 소형 선형 시스템과 희소성 및 온전한 재시작의 효과적인 활용 덕분에 계산적으로 효율적이며, 대규모 문제로의 확장성도 보장한다.
• 이 프레임워크는 기존의 매끄러운 뉴턴 방법을 비가속 및 제약 조건이 있는 문제로 확장할 수 있게 하여, 준-뉴턴 및 신뢰영역 변형의 가능성을 열어준다.