[논문 리뷰] Efficient approaches for escaping higher order saddle points in non-convex optimization

Anima Anandkumar, Rong Ge|arXiv (Cornell University)|2016. 02. 18.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 49

한 줄 요약

이 논문은 비볼록 최적화에서 제3차 국소 최솟값으로 수렴하는 데 있어 효율적인 알고리즘을 처음으로 제안하며, 1차 및 2차 방법이 실패하는 퇴화된 안장점에서 벗어나기 위해 고차 도함수를 사용한다. 또한 제4차 국소 최솟값을 찾는 것이 NP-난이도임을 증명하여, 제3차 이상의 고차 최적화의 기본적인 한계를 설정한다.

ABSTRACT

Local search heuristics for non-convex optimizations are popular in applied machine learning. However, in general it is hard to guarantee that such algorithms even converge to a local minimum, due to the existence of complicated saddle point structures in high dimensions. Many functions have degenerate saddle points such that the first and second order derivatives cannot distinguish them with local optima. In this paper we use higher order derivatives to escape these saddle points: we design the first efficient algorithm guaranteed to converge to a third order local optimum (while existing techniques are at most second order). We also show that it is NP-hard to extend this further to finding fourth order local optima.

연구 동기 및 목표

• 1차 및 2차 방법이 특이한 헤시안 행렬로 인해 실패할 수 있는 고차원 비볼록 최적화 문제에서의 퇴화된 안장점 문제를 다루기.
• 기존 2차 방법의 한계를 극복하고, 제3차 국소 최솟값으로 수렴함을 보장하는 효율적인 알고리즘을 개발하기.
• 고차 도함수를 사용하여 제3차 국소 최솟값이 되는 조건을 규명하기.
• 제4차 국소 최솟값으로의 접근이 계산적으로 불가능함을 증명함으로써, 제3차 이상의 고차 최적화의 한계를 밝혀내기.
• 대칭적이거나 과다 매개변수화된 구조를 가진 비볼록 문제에서의 고차 최적성에 대한 이론적 기초 제공하기.

제안 방법

• p차 국소 최솟값을 조건 f(x) - f(y) ≤ o(||x - y||^p)를 만족하는 것으로 정의함으로써, 고차 최적성에 대한 형식적인 기준을 설정한다.
• 기울기, 헤시안 행렬, 제3차 도함수 정보를 활용하여 퇴화된 안장점에서 벗어나는 새로운 알고리즘을 제안한다.
• 제3차 최적성에 도달하는 데의 진전을 추적하는 잠재함수를 기반으로 한 수렴 분석을 설계하여 다항 시간 내 수렴을 보장한다.
• 경색 감소를 위해 차수 6의 항 ||x||^6을 추가하여 4차 다항함수를 잘 조율된 함수로 변환한다.
• 4차 다항함수의 음이 아닌 성질 문제를 최적화 문제로 감소시켜 제4차 국소 최솟값을 찾는 것이 NP-난이도임을 증명한다.
• 비음수 4차 동차 다항함수의 경우 원점이 유일한 제4차 국소 최솟값이며, 음의 정부정인 경우는 비음수 값을 가진 제4차 국소 최솟값이 존재하지 않음을 활용한다.

실험 결과

연구 질문

• RQ1 1차 및 2차 방법이 실패하는 퇴화된 안장점에서 고차 도함수를 활용해 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 비볼록 최적화에서 제4차 국소 최솟값을 찾는 데의 계산 복잡도는 얼마인가?
• RQ3 임계점이 제3차 국소 최솟값이 되는 조건은 무엇이며, 이를 알고리즘적으로 특성화할 수 있는가?
• RQ4 제3차 최적성이 국소 최솟값으로의 수렴에 필수적이고 충분한 자연스러운 비볼록 함수의 클래스가 존재하는가?
• RQ5 기존의 알려진 NP-난이도 문제로부터의 감소를 통해 고차 최적화의 난이도를 공식적으로 증명할 수 있는가?

주요 결과

• 제안된 알고리즘은 다항 시간 내에 제3차 국소 최솟값으로 수렴함을 보장하며, 퇴화된 안장점에서 벗어나기 위한 증명 가능한 메커니즘을 제공한다.
• 알고리즘은 기울기가 작고, 헤시안 행렬이 거의 양의 준정부정이며, 제3차 도함수의 크기가 유한한 점을 효율적으로 식별하여 제3차 최적성의 필요 및 충분 조건을 근사적으로 만족함을 보여준다.
• 제4차 국소 최솟값을 찾는 것이 NP-난이도임을 증명하였으며, 이는 유계 도함수와 단위 구 내에 전역 최솟값이 존재하는 잘 조율된 함수에 대해서도 성립한다.
• NP-난이도 결과는 음이 아닌 4차 동차 다항함수의 문제로의 감소를 통해 확립되었으며, 이 문제 자체가 이미 알려진 NP-난이도임을 활용한다.
• 4차 다항함수가 음이 아닌 경우 원점이 유일한 제4차 국소 최솟값이며, 어떤 방향에서 음이면 모든 제4차 국소 최솟값은 음수의 함수값을 가져야 한다.
• 결과적으로 제3차 최적성이 효율적으로 달성 가능한 반면, 제4차 이상의 최적성은 일반적으로 해결 불가능한 계산적 장벽이 존재함을 보여준다.