[논문 리뷰] Exponentiated Gradient Meets Gradient Descent

Udaya Ghai, Elad Hazan외 1명|arXiv (Cornell University)|2019. 02. 05.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 10

한 줄 요약

이 논문은 단일 온도 유사 매개변수 β를 통해 덧셈형 경사하강법과 곱셈형 지수 경사 업데이트를 통합하는 새로운 정규화인 하이퍼엔트로피를 소개한다. 직사각형 행렬에 대해 스펙트럼 하이퍼엔트로피 버전을 유도하여 기존의 행렬 방법보다 더 날카운 O(√(T log min{m,n}))의 손실 한계를 달성하며, 다중분류 학습과 신경망 학습에서의 경험적 성능에서도 뛰어나다.

ABSTRACT

The (stochastic) gradient descent and the multiplicative update method are probably the most popular algorithms in machine learning. We introduce and study a new regularization which provides a unification of the additive and multiplicative updates. This regularization is derived from an hyperbolic analogue of the entropy function, which we call hypentropy. It is motivated by a natural extension of the multiplicative update to negative numbers. The hypentropy has a natural spectral counterpart which we use to derive a family of matrix-based updates that bridge gradient methods and the multiplicative method for matrices. While the latter is only applicable to positive semi-definite matrices, the spectral hypentropy method can naturally be used with general rectangular matrices. We analyze the new family of updates by deriving tight regret bounds. We study empirically the applicability of the new update for settings such as multiclass learning, in which the parameters constitute a general rectangular matrix.

연구 동기 및 목표

• 새로운 정규화 프레임워크를 통해 덧셈형 경사하강법과 곱셈형 지수 경사 업데이트를 통합한다.
• 기존의 EG± 기법을 피하기 위해 직접적으로 음수 가중치를 처리할 수 있는 곱셈형 업데이트 방법을 확장한다.
• 일반적인 직사각형 행렬을 대상으로 하는 스펙트럼 하이퍼엔트로피 정규화를 개발하여 기존의 행렬 곱셈형 업데이트의 한계를 극복한다.
• 온라인 볼록 최적화에서 더 날카운 손실 한계를 달성하며, 기존의 최고 수준의 기록과 일치하는 결과를 얻는다.
• 기존의 경사하강법과 p-노름 방법에 비해 다중분류 학습과 신경망 학습에서의 경험적 우수성을 입증한다.

제안 방법

• 온도 매개변수 β로부터 유도된 하이퍼볼릭 기하학적 엔트로피의 유사체로서 하이퍼엔트로피를 제안하여 덧셈형과 곱셈형 업데이트 사이의 보간을 가능하게 한다.
• 특이값의 행렬 함수의 트레이스 노름으로 스펙트럼 하이퍼엔트로피를 정의하여 트레이스 노름 또는 프로베니우스 노름에 대해 강凸성을 보장한다.
• 하이퍼엔트로피와 스펙트럼 하이퍼엔트로피를 기반으로 한 미러 강하 업데이트를 유도하며, 이는 경사하강법과 행렬 곱셈형 업데이트를 일반화한다.
• 역 미러 매핑을 사용하여 업데이트를 계산하며, p = 2β일 때 f(σ)i = σi^(p−1)/||σ||_p^(p−2)의 형태를 취하여 p-노름 정규화와 연결된다.
• 신경망 학습에 비제약형 HU(Hypentropy Update) 알고리즘을 적용하며, 효율적 학습률 η_eff = βη를 사용한다.
• CIFAR10를 사용한 다중분류 및 이미지 분류 작업에서 HU와 SHU(Spectral Hypentropy Update)를 GD, p-노름, SGD와 비교한다.

실험 결과

연구 질문

• RQ1 단일 정규화 프레임워크로 온라인 학습에서 덧셈형과 곱셈형 업데이트를 통합할 수 있는가?
• RQ2 기존 방법과 비교해 하이퍼엔트로피 정규화의 손실 한계 성능은 어떠한가?
• RQ3 스펙트럼 하이퍼엔트로피는 일반적인 직사각형 행렬에 적용될 수 있으며, 기존의 행렬 곱셈형 업데이트보다 더 날카운 손실 한계를 제공하는가?
• RQ4 HU와 SHU의 경험적 성능은 다중분류 학습과 신경망 학습에서 어떻게 나타나는가?
• RQ5 하이퍼엔트로피 방법은 기존의 경사하강법과 p-노름 방법에 비해 더 희소하거나 랭크가 낮은 해를 생성하는가?

주요 결과

• HU 알고리즘은 더 작은 효율적 학습률을 가짐에도 불구하고, 다중분류 학습에서 경사하강법보다 낮은 분류 오차와 손실을 기록한다.
• SHU 업데이트는 O(√(T log min{m,n}))의 손실 한계를 달성하며, Kakade 등(2012)에서 기록된 최고 수준의 기록과 일치하며, 표준 행렬 곱셈형 업데이트를 능가한다.
• 다중분류 학습에서 SHU는 GD(약 600 이상)와 p-노름보다 더 낮은 트레이스 노름(700)을 가지는 해를 생성한다.
• p-노름 알고리즘은 SHU보다 작은 특이값을 더 강하게 압축하여 더 낮은 랭크 해를 도출하지만, SHU는 큰 신호 방향을 더 잘 활용한다.
• CIFAR10에서의 신경망 학습에서 HU는 효율적 학습률 βη = 0.005일 때 SGD 성능을 따라잡으며, 더 작은 β 값은 더 희소한 가중치를 생성한다.
• HU 업데이트는 큰 특이값에서는 지수적으로 행동하고 작은 특이값에서는 선형적으로 행동하여, 효율적인 신호 활용과 노이즈 억제를 동시에 실현한다.