[논문 리뷰] When Are Nonconvex Problems Not Scary?

Ju Sun, Qing Qu외 1명|arXiv (Cornell University)|2015. 10. 21.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 112

한 줄 요약

이 논문은 모든 국소 최소점이 전역 최소점이고 모든 안장점이 음의 곡률을 가지는 비볼록 문제의 클래스에 대해 전역 최소점으로의 증명 가능 수렴을 보장하는 두 번째 차수 신뢰역할 알고리즘을 제안한다. 이 방법은 헤시안 기반 내림방향을 사용하여 안장점을 효율적으로 회피하며, 임의의 초기화로부터의 수렴을 보장한다.

ABSTRACT

In this note, we focus on smooth nonconvex optimization problems that obey: (1) all local minimizers are also global; and (2) around any saddle point or local maximizer, the objective has a negative directional curvature. Concrete applications such as dictionary learning, generalized phase retrieval, and orthogonal tensor decomposition are known to induce such structures. We describe a second-order trust-region algorithm that provably converges to a global minimizer efficiently, without special initializations. Finally we highlight alternatives, and open problems in this direction.

연구 동기 및 목표

• 일반적으로 NP-난이도임에도 불구하고 해석 가능한 비볼록 최적화 문제의 넓은 클래스를 특정하는 것.
• 딕셔너리 학습 및 위상 복원과 같은 문제들에서 히وري스틱 알고리즘(예: 경사하강법)이 왜 실제로 자주 성공하는지 설명하는 것.
• 특정 기하학적 구조를 가진 비볼록 문제에서 안장점과 국소 최대점을 탈출하고 수렴을 보장하는 증명 가능한 알고리즘을 개발하는 것.
• 모든 국소 최소점이 전역 최소점이고 안장점이 음의 곡률을 가지는 조건을 설정하여 효율적인 전역 최적화를 가능하게 하는 것.

제안 방법

• 각 반복점 주변에서 리만 헤시안과 기울기 정보를 사용하여 목적함수의 이차 근사를 사용하는 두 번째 차수 신뢰역할 알고리즘을 제안한다.
• 다양체의 탄젠트 공간에서 반경 Δ의 신뢰역내에서 이차 모델를 최소화함으로써 리만 신뢰역할 하위문제를 정의한다.
• 재구성 맵을 사용하여 업데이트된 탐색 방향을 다양체 위로 다시 투영함으로써 반복점이 타당성을 유지하도록 보장한다.
• 안장점과 국소 최대점에서 헤시안의 음의 곡률을 이용하여 이러한 점들을 탈출하는 내림방향을 식별한다.
• 국소 근사 정확도와 탈출 가능성 파라미터를 사용하여 각 단계에서 목적함수 값이 충분히 감소하도록 보장한다.
• 비최적점에서 항상 내림방향 단계가 존재함을 보여줌으로써 전역 최소점으로의 수렴을 확립하며, 해의 근처에서는 이차 수렴을 보인다.

실험 결과

연구 질문

• RQ1 목적함수에 어떤 조건이 성립할 경우 일반적으로 NP-난이도임에도 불구하고 비볼록 문제를 효율적으로 해결할 수 있는가?
• RQ2 왜 경사 기반 히وري스틱 알고리즘이 딕셔너리 학습 및 위상 복원과 같은 비볼록 문제에서 실제로 자주 성공하는가?
• RQ3 헤시안이 이러한 점들에서 적어도 하나의 음의 고유값을 가질 경우, 신뢰역할 알고리즘이 안장점과 국소 최대점을 증명 가능하게 탈출할 수 있는가?
• RQ4 모든 국소 최소점이 전역 최소점이고 모든 안장점이 '탈출 가능'한 비볼록 문제에 대해 전역 수렴하는 알고리즘을 설계하는 것이 가능한가?
• RQ5 두 번째 차수 방법의 전역 수렴을 보장하기 위해 목적함수와 다양체 구조에 대해 필요한 최소한의 가정은 무엇인가?

주요 결과

• 제안된 신뢰역할 알고리즘은 모든 국소 최소점이 전역 최소점이고 모든 안장점이 음의 곡률을 가지는 (α,β,γ,δ)-X 함수의 클래스에 대해 전역 최소점으로 수렴한다.
• 알고리즘은 헤시안의 음의 곡률 방향을 활용하여 각 반복에서 목적함수 값의 충분한 감소를 보장함으로써 안장점과 국소 최대점에서의 탈출을 보장한다.
• 임의의 초기화로부터 수렴이 보장되어 특별한 초기화 전략이나 문제에 특화된 초기화가 필요 없음을 보여준다.
• 전역 최소점 근처에서는 신뢰역할이 비제약일 경우 이차 수렴을 보이며, 뉴턴 방법과 유사한 성질을 가진다.
• 신뢰역할 반경 Δ가 충분히 작을 경우 국소 근사 오차에 대해 강건하여 신뢰할 수 있는 내림을 보장한다.
• 실험적 및 이론적 결과는 딕셔너리 학습, 일반화된 위상 복원, 직교 텐서 분해와 같은 문제가 이 유리한 클래스에 속함을 시사한다.