[논문 리뷰] Riemannian Adaptive Optimization Algorithm and Its Application to Natural Language Processing

Hiroyuki Sakai, Hideaki Iiduka|arXiv (Cornell University)|2020. 04. 02.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 Riemannian 다양체로의 확장된 AMSGrad을 제안하며, 일정한 학습률을 사용함으로써 Riemannian 확률적 최적화 문제를 직접 해결할 수 있도록 한다. 이 방법은 Poincaré 임bedding과 주성분 분석에서 기존 알고리즘보다 더 빠르고 안정적인 수렴을 달성하며, 특히 WordNet 계층 구조 작업에서 RSGD, RAdaGrad 및 RAdam보다 뛰어난 성능을 보인다.

ABSTRACT

This paper proposes a Riemannian adaptive optimization algorithm to optimize the parameters of deep neural networks. The algorithm is an extension of both AMSGrad in Euclidean space and RAMSGrad on a Riemannian manifold. The algorithm helps to resolve two issues affecting RAMSGrad. The first is that it can solve the Riemannian stochastic optimization problem directly, in contrast to RAMSGrad which only achieves a low regret. The other is that it can use constant learning rates, which makes it implementable in practice. Additionally, we apply the proposed algorithm to Poincar{é} embeddings, which embed the transitive closure of the WordNet nouns into the Poincar{é} ball model of hyperbolic space. Numerical experiments show that regardless of the initial value of the learning rate, our algorithm stably converges to the optimal solution and converges faster than RSGD, the most basic Riemannian stochastic optimization algorithm.

연구 동기 및 목표

• RAMSGrad의 한계를 해결하기 위해, 즉 회귀 최소화만을 달성하고 감소하는 학습률이 필요로 하는 점을 개선하기 위해.
• 직접적으로 다양체 상의 Riemannian 최적화 문제를 해결할 수 있는 Riemannian 적응형 최적화 알고리즘을 개발하기 위해.
• 기존 방법들이 학습률이 사라지면서 기능을 잃는 것과는 달리, 일정한 학습률을 지원함으로써 실용적 구현을 가능하게 하기 위해.
• 자연어 처리 작업, 특히 계층적 데이터를 위한 Poincaré 임bedding에 알고리즘을 적용하기 위해.
• 기존의 Riemannian 최적화 방법들과 비교해 더 빠른 수렴 속도와 안정성을 보여주기 위해.

제안 방법

• 유럽형 AMSGrad을 Riemannian 다양체로 확장하는 수정된 RAMSGrad 알고리즘(알고리즘 1)을 제안하며, 지수 사상과 평행 이동과 같은 Riemannian 기하학 연산을 통해 이를 구현한다.
• 두 번째 차수 모멘텀 추정 기반의 적응형 학습률을 사용하며, 적응형 분산 추정의 제곱근에 대한 역수 스케일링을 통한 재가중 처리를 수행한다.
• 비유클리드 공간인 Poincaré 구의 모델을 적용하여, WordNet과 같은 계층적 데이터를 자연스럽게 모델링할 수 있도록 한다.
• 표준 가정 하에 수렴 분석을 수행하며, 일정한 학습률과 감소하는 학습률 모두에 대해 수렴을 증명한다.
• 직접 최적 해로의 수렴을 보장하는 새로운 회귀 한계 분석을 도입하며, 단지 회귀 최소화가 아니라 최적 해에의 수렴을 보장한다.
• 재구속과 벡터 이동을 통합한 Riemannian 버전의 Adam 유형 업데이트 규칙을 사용하여 반복 값을 다양체 위에 유지한다.

실험 결과

연구 질문

• RQ1 회귀 최소화만을 목표로 하는 것이 아니라, 직접적으로 Riemannian 최적화 문제를 해결할 수 있는 Riemannian 적응형 최적화 알고리즘을 설계할 수 있는가?
• RQ2 감소하는 학습률이 아닌 일정한 학습률을 사용함으로써 실용적인 알고리즘을 만들 수 있는가?
• RQ3 제안된 알고리즘이 Poincaré 임bedding 작업에서 RSGD, RAdaGrad 및 RAdam와 같은 기존의 Riemannian 적응형 방법보다 더 빠르고 안정적으로 수렴하는가?
• RQ4 일정한 학습률과 감소하는 학습률 간의 선택이 Poincaré 임bedding과 주성분 분석과 같은 다양한 학습 문제에서 성능에 어떤 영향을 미치는가?
• RQ5 실제 NLP 응용에서 다양한 초기 학습률 값에 대해 알고리즘이 강건한 성능을 발휘할 수 있는가?

주요 결과

• 제안된 알고리즘은 WordNet 유향 생물 하위트리에서 RSGD, RAdaGrad 및 RAdam보다 더 빠르게 최적 해로 수렴한다.
• 초기 학습률 값에 관계없이 안정적인 수렴을 보이며, 하이퍼파rameter 초기화에 대한 강건성을 입증한다.
• 일정한 학습률을 사용할 경우, 특히 비유클리드 공간 임베딩에서 기존 방법들보다 수렴 속도와 안정성 면에서 뛰어난 성능을 보인다.
• 수렴 분석을 통해 표준 가정 하에 최적 해로의 직접 수렴이 증명되었으며, 단지 회귀 최소화만을 목표로 하는 것이 아니라 최적 해에의 수렴이 보장된다.
• 주성분 분석에서도 성능 향상이 나타나며, 일정한 학습률과 감소하는 학습률을 사용할 경우 데이터셋에 따라 수렴 행동이 달라진다.
• 이론적 분석을 통해 일정한 학습률과 감소하는 학습률 모두에 대해 수렴이 보장되었으며, 정리 3.1은 일정한 학습률을 통한 실용적 적용 가능성을 확인한다.