[논문 리뷰] Trust-Region Newton-CG with Strong Second-Order Complexity Guarantees for Nonconvex Optimization

Frank E. Curtis, Daniel P. Robinson외 2명|arXiv (Cornell University)|2019. 12. 09.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 30

한 줄 요약

이 논문은 비볼록 최적화를 위한 수정된 트러스트 영역 뉴턴-CG 방법을 제안하며, 기존의 표준 트러스트 영역 뉴턴-CG의 실용적 효율성을 유지하면서도 최상의 두 번째 차수 복잡도 보장을 달성한다. 이는 기존에 알려진 최고의 반복 수 및 연산 복잡도 한계와 일치하는 성능을 보이며, 허용오차에 대한 최적의 의존성을 확보한다. 핵심 혁신은 알고리즘의 미세한 수정을 통해 $(\epsilon_g, \epsilon_H)$-정류점으로의 수렴을 보장하면서도 성능 저하 없이 이루어진다는 점이다.

ABSTRACT

Worst-case complexity guarantees for nonconvex optimization algorithms have been a topic of growing interest. Multiple frameworks that achieve the best known complexity bounds among a broad class of first- and second-order strategies have been proposed. These methods have often been designed primarily with complexity guarantees in mind and, as a result, represent a departure from the algorithms that have proved to be the most effective in practice. In this paper, we consider trust-region Newton methods, one of the most popular classes of algorithms for solving nonconvex optimization problems. By introducing slight modifications to the original scheme, we obtain two methods -- one based on exact subproblem solves and one exploiting inexact subproblem solves as in the popular "trust-region Newton-Conjugate-Gradient" (trust-region Newton-CG) method -- with iteration and operation complexity bounds that match the best known bounds for the aforementioned class of first- and second-order methods. The resulting trust-region Newton-CG method also retains the attractive practical behavior of classical trust-region Newton-CG, which we demonstrate with numerical comparisons on a standard benchmark test set.

연구 동기 및 목표

• 이론적으로 최적인 비볼록 최적화 알고리즘과 복잡도 보장이 약한 실용적 방법(예: 트러스트 영역 뉴턴-CG) 사이의 격차를 메우기 위해.
• $(\epsilon_g, \epsilon_H)$-정류점에 도달하기 위한 최고의 알려진 worst-case 반복 수 및 연산 복잡도 한계를 달성하는 트러스트 영역 뉴턴-CG의 변종을 개발하기 위해.
• 이론적 개선이 실용적 성능(특히 반복 수, 함수 평가 수, 헤시안-벡터 곱의 수)에 악영향을 주지 않도록 보장하기 위해.
• 정확한 및 비정확한 하위문제 해법을 모두 분석하며, 특히 공액 그래디언트 방법을 통한 비정확한 해법에 초점을 맞추되, 강력한 복잡도 보장을 확보하기 위해.
• 트러스트 영역 뉴턴-CG에 대한 미세한 수정이 최적의 복잡도를 달성하면서도 표준 테스트 세트에서의 수렴 행동을 손상시키지 않는지 입증하기 위해.

제안 방법

• 정확한 하위문제 해법을 사용하고, 정확한 헤시안 고유값 계산을 통해 두 번째 차수 최적성 조건을 검증하는 트러스트 영역 뉴턴 방법을 도입한다.
• 헤시안 행렬이 부정부정일 경우에도 충분한 감소를 보장하고 복잡도 분석이 가능하도록 하기 위해 하위문제에 정규화 항을 추가한다.
• 정규화된 하위문제를 비정확하게 해석하기 위해 공액 그래디언트(CG) 방법을 사용하며, 연산 복잡도를 제어하기 위해 CG 반복 수에 명시적 상한을 설정한다.
• 알고리즘 3을 통한 종료 조건 검사를 도입하여, 반복점에서 헤시안의 최소 고유값을 계산함으로써 두 번째 차수 정류성 조건을 검증한다.
• 기울기 평가 수와 헤시안-벡터 곱의 수를 기반으로 연산 복잡도를 정의하고, 문헌에서 알려진 최고의 결과와 일치하는 복잡도 상한을 유도한다.
• 외부 반복마다 CG 반복 수를 제한하여 강력한 연산 복잡도 상한을 확보하면서도 $(\epsilon_g, \epsilon_H)$-정류점으로의 수렴을 유지한다.

실험 결과

연구 질문

• RQ1 트러스트 영역 뉴턴-CG 방법을 수정하여 최고의 알려진 두 번째 차수 복잡도 보장을 달성하면서도 실용적 성능을 유지할 수 있는가?
• RQ2 최적의 반복 수 및 연산 복잡도 보장을 확보하기 위해 하위문제 해법 및 트러스트 영역 갱신 전략에 어떤 수정이 필요한가?
• RQ3 하위문제에 정규화 항을 포함시키는 것이 이론적 복잡도와 실용적 수렴 행동에 어떤 영향을 미치는가?
• RQ4 이론적 복잡도 상한이 대규모 비볼록 문제에서의 경험적 성능와 얼마나 잘 일치하는가?
• RQ5 헤시안-벡터 곱이 비용이 많이 들 때, 비정확한 CG 해법을 트러스트 영역 프레임워크에서 효과적으로 사용할 수 있으며, 여전히 두 번째 차수 정류성에 대해 최적의 연산 복잡도 보장을 유지할 수 있는가?

주요 결과

• 제안된 트러스트 영역 뉴턴-CG 방법은 $\tilde{\mathcal{O}}(\epsilon_g^{-7/4})$의 연산 복잡도 상한을 달성하며, 이는 $\epsilon_H = \epsilon_g^{1/2}$일 때 두 번째 차수 방법의 최고의 알려진 결과와 일치한다.
• 표준 트러스트 영역 뉴턴-CG와 유사한 반복 수와 기울기 평가 수를 유지하여 실용적 성능 저하가 최소화됨을 나타낸다.
• 정규화된 변종에서는 헤시안-벡터 곱의 수가 크게 감소하였으며, 특히 기울기 평가 대비 헤시안-벡터 곱이 비용이 많이 들 경우 두드러진다.
• n ≥ 100인 109개 문제로 구성된 벤치마크 세트에서, 모든 알고리즘이 두 가지 허용오차 설정 모두에서 최소 101개 문제를 성공적으로 해결하여 높은 신뢰성을 보였다.
• 헤시안-벡터 곱의 대부분은 알고리즘 2에서 수행되었으며, 알고리즘 3는 나머지 세 문제를 제외한 전부의 경우에서 최종 반복에서만 호출되었으며, 이는 효율적인 종료 검증을 의미한다.
• 성능 프로파일 분석 결과, 정규화된 변종은 비정규화된 변종보다 헤시안-벡터 곱의 수가 적게 소모되었으며, 이는 헤시안-벡터 곱이 비용이 많이 들 경우 실용적 이점이 있음을 시사한다.