[논문 리뷰] Local Saddle Point Optimization: A Curvature Exploitation Approach

Leonard Adolphs, Hadi Daneshmand외 2명|arXiv (Cornell University)|2018. 05. 15.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 26

한 줄 요약

이 논문은 비볼록-볼록 사 đu기 점 문제에서 국소적으로 최적인 미니맥시마 솔루션에 도달하기 위해 헤시안의 최대 및 최소 고유값을 활용하는 새로운 방법인 곡률 탐색 사 đu기 점(Curvature-Exploiting Saddle Point, Cesp) 최적화를 제안한다. 이 방법은 기울기 기반 최적화에서 바람직하지 않은 사 đu기 점으로의 수렴을 증명 가능하게 방지하며, GAN과 토이 문제에서 검증되어 안정성과 국소적으로 최적인 미니맥시마 솔루션으로의 수렴이 향상됨을 보여준다.

ABSTRACT

Gradient-based optimization methods are the most popular choice for finding local optima for classical minimization and saddle point problems. Here, we highlight a systemic issue of gradient dynamics that arise for saddle point problems, namely the presence of undesired stable stationary points that are no local optima. We propose a novel optimization approach that exploits curvature information in order to escape from these undesired stationary points. We prove that different optimization methods, including gradient method and Adagrad, equipped with curvature exploitation can escape non-optimal stationary points. We also provide empirical results on common saddle point problems which confirm the advantage of using curvature exploitation.

연구 동기 및 목표

• 기울기 기반 사 đu기 점 최적화에서 국소적으로 최적인 미니맥시마 솔루션이 아닌 안정된 정류점이 존재하는 체계적 문제를 해결하기 위해.
• 기본 기울기 동역학 하에서 안정되지만 국소적 미니맥시마 구조를 만족하지 못하는 바람직하지 않은 정류점을 식별하고 탈출하기 위해.
• 헤시안의 극단적 고유값을 활용하는 곡률 기반 방법을 개발하여 국소적으로 최적인 사 đu기 점으로 최적화를 이끌기 위해.
• 곡률 탐색이 기울기 하강법 및 Adagrad와 같은 방법에서 비최적의 정류점으로부터 탈출할 수 있음을 증명하기 위해.
• 일반적인 사 đu기 점 문제, 특히 GAN에서 곡률 탐색의 이점을 실증적으로 검증하기 위해.

제안 방법

• 헤시안의 x 변수에서의 최대 고유값과 y 변수에서의 최소 고유값에 초점을 맞춘 극단적 곡률 탐색을 도입한다.
• 헤시안의 극단적 고유벡터에서 유도된 변환 행렬을 통해 곡률 정보를 통합함으로써 표준 기울기 업데이트를 수정한다.
• 헤시안의 음의 곡률은 x에서, 양의 곡률은 y에서 각각 내림차순과 오름차순을 이끌어내기 위해 업데이트 규칙을 설계한다.
• 곡률 인식 스케일링을 사용해 업데이트 행렬을 변환함으로써 기울기 하강법 및 Adagrad와 같은 표준 최적화 방법에 적용한다.
• 이론적 분석을 통해 작은 스텝 크기 하에서 국소적으로 최적인 사 đu기 점은 안정성을 유지하지만, 비최적의 점은 곡률 탐색을 통해 불안정화됨을 보여준다.
• 이 방법은 생성자와 판별기 파라미터를 별도로 처리하는 이중목표 GAN 훈련과도 호환되며, 곡률 정보를 활용한다.

실험 결과

연구 질문

• RQ1 비볼록-볼록 사 đu기 점 문제에서 국소적으로 최적인 사 đu기 점과 비최적의 정류점 간을 곡률 정보로 구별할 수 있는가?
• RQ2 기본 기울기 방법은 안정되지만 국소적 미니맥시마 구조를 만족하지 못하는 비최적의 정류점으로 수렴하는가?
• RQ3 헤시안의 극단적 고유값에서의 곡률 탐색이 비최적의 정류점을 불안정하게 만들고 국소적으로 최적의 해로 수렴하게 이끌 수 있는가?
• RQ4 제안된 곡률 탐색 최적화 방법은 GAN 훈련과 같은 실용적 응용에서 수렴성과 안정성을 향상시키는가?
• RQ5 Adagrad나 기울기 하강법과 같은 기존 방법에 적용했을 때 곡률 기반 업데이트가 효과적인가?

주요 결과

• 제안된 Cesp 방법은 표준 기울기 동역학 하에서 안정된 비최적의 정류점에서 탈출하는데 성공하였으며, 이는 표준 방법으로서는 보장되지 않는다.
• 이론적 분석을 통해 극단적 고유값을 통한 곡률 탐색이 작은 스텝 크기 하에서 국소적으로 최적인 사 đu기 점은 안정화하고 비최적의 점은 불안정화함을 증명하였다.
• 토이 사 đu기 점 문제에서의 실증 결과는 Cesp가 기울기 하강법에 비해 목표로 하는 국소적으로 최적의 사 đu기 점으로 향하는 안정성 영역을 크게 확장함을 보여주었다.
• MNIST에 대한 단일층 GAN 훈련에서 Cesp는 생성기 헤시안의 최소 고유값에서의 진동을 감소시켜 음의 곡률을 더 잘 활용함을 시사한다.
• Cesp 하에서 판별기 헤시안의 최대 고유값은 잘 제어되어 있어 상승 방향에서의 안정성이 향상됨을 나타낸다.
• 비최적 점에서의 유사 안정성으로 인해 표준 기울기 방법이 실패할 경우에도 Cesp는 목표 솔루션으로의 수렴을 유지한다.