[논문 리뷰] No-go Theorem for Acceleration in the Hyperbolic Plane

Linus Hamilton, Ankur Moitra|arXiv (Cornell University)|2021. 01. 14.

3D Shape Modeling and Analysis참고 문헌 37인용 수 6

한 줄 요약

이 논문은 비정상적인 곡률을 가진 공간에서, Nesterov 유사 가속 경사 하강법이 존재할 수 없음을 보여주는 no-go 정리(금기 정리)를 증명한다. 특히, 초구형 평면에서 지오데식 볼록 최적화 문제에 대해, 조건부로 지수적 소음이 존재하는 경우조차도 그러한 가속이 불가능하다. 핵심 통찰은 음의 곡률을 가진 공간에서는 지수적 체적 증가로 인해 과거의 경사 정보가 빠르게 무의미해지며, 이로 인해 노이즈가 있는 오рак스 하에서 정보 이론적으로 가속이 불가능하다는 것이다.

ABSTRACT

In recent years there has been significant effort to adapt the key tools and ideas in convex optimization to the Riemannian setting. One key challenge has remained: Is there a Nesterov-like accelerated gradient method for geodesically convex functions on a Riemannian manifold? Recent work has given partial answers and the hope was that this ought to be possible. Here we dash these hopes. We prove that in a noisy setting, there is no analogue of accelerated gradient descent for geodesically convex functions on the hyperbolic plane. Our results apply even when the noise is exponentially small. The key intuition behind our proof is short and simple: In negatively curved spaces, the volume of a ball grows so fast that information about the past gradients is not useful in the future.

연구 동기 및 목표

• 비양의 곡률을 가진 리만 다양체에서 지오데식 볼록 최적화 문제에 대해 Nesterov 유사 가속이 가능한지 여부에 대한 오랫동안 열려 있던 문제를 해결하기 위해.
• 최소한의 노이즈가 존재하는 상황에서도 초구형 평면에서의 가속이 본질적으로 불가능하다는 것을 보여주기 위해.
• 음의 곡률을 가진 공간에서 과거의 경사 정보가 체적 증가 속도가 매우 빠르기 때문에 빠르게 무의미해지는 직관을 형식화하기 위해.
• 최적화를 넘어선 분야에 적용 가능한 일반적인 정보 이론적 하한을 설정하기 위해.
• 곡률이 있는 공간에서 기하적 직관과 형식적 복잡도 하한 사이의 격차를 메우기 위해.

제안 방법

• 플레이어가 노이즈가 있는 응답을 통해 숨겨진 항목을 식별하는 '노이즈가 있는 질의 게임'으로 경사 오라클 문제를 추상화한다.
• 플레이어가 사후 확률 분포 대신 남은 선택지의 수만 추적하는 투명한 버전의 게임을 도입한다.
• 각 질의당 불확실성의 기대 로그 감소량에 기반한 정보 이론적 추론을 사용한다.
• 제닝스 부등식과 마르코프 부등식을 적용하여, 불확실성을 한 개의 선택지로 줄이기 위해 필요한 질의 수의 하한을 유도한다.
• 공간을 지수적으로 많은 점들로 이산화하고, 상대적으로 큰 상호 거리를 가지도록 함으로써 초구형 평면의 볼록 최적화 문제를 노이즈가 있는 질의 게임으로 환원한다.
• R^3 내의 가능한 질의 답변 영역의 체적을 유한하게 제한하여, 이 체적이 r과 노이즈 매개변수 C에 대해 다항식으로 증가함을 보인다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 경사 오라클 하에서, 초구형 평면의 지오데식 볼록 함수에 대해 Nesterov 유사 가속이 가능할 수 있는가?
• RQ2 기존의 곡률이 있는 공간에서의 가속 방법들이 최적점 주변의 일정한 이웃 영역 내에서 초기화되어야 하거나, 직경에 대해 지수적 의존성을 보이는 이유는 무엇인가?
• RQ3 음의 곡률 공간에서 가속에 대한 본질적인 정보 이론적 장벽이 존재하는가?
• RQ4 초구형 공간에서 공의 체적 증가율을 과거의 경사 정보가 무의미해지는 것과 연결할 수 있는가?
• RQ5 질의 응답 공간의 구조(함수 값과 경사)가 불확실성 감소 속도를 제한하는가?

주요 결과

• 초구형 평면에서 1-강한 볼록성과 O(r)-연속 미분 가능성을 가진 함수의 최소값으로부터 r/5 이내의 점을 찾기 위해 δ-노이즈가 있는 경사 오라클을 사용하는 모든 알고리즘은 성공 확률이 최소 2/3 이상일 때 기대적으로 적어도 Ω(r / (log r + log 1/δ))회의 질의를 수행해야 한다.
• 이 하한은 노이즈 δ가 지수적으로 작을 경우에도 유지되며, 이는 가속이 불가능한 것이 노이즈 크기 때문이 아니라 기하학적 구조 때문임을 시사한다.
• 초구형 평면에서 공의 체적 증가율이 지수적이라는 점은 과거의 경사 정보가 매우 빨리 무의미해지게 하며, 이로 인해 모멘텀 기반의 가속이 효과를 발휘하지 못한다.
• 질의 게임 추상화는 일반적인 하한을 도출한다: 크기가 n인 집합에서 각 질의가 불확실성을 최대 log(c|X|)만큼만 줄일 수 있을 경우, 적어도 Ω(log n / log(|X|c))회의 질의가 필요하다.
• 가능한 질의 응답의 체적 |X|는 r과 C에 대해 다항식으로 유계이므로, n = e^{Θ(r)}일 때 질의 복잡도는 Ω(r / (log r + log C))가 된다.
• 결과적으로, 표준 노이즈 오라클 모델 하에서 초구형 평면에서는 전역적 가속이 불가능하며, 이는 부드럽고 강한 볼록성 조건이더라도 마찬가지로 적용된다.