[논문 리뷰] Practical Riemannian Neural Networks

Gaétan Marceau-Caron, Yann Ollivier|arXiv (Cornell University)|2016. 02. 25.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 15

한 줄 요약

이 논문은 계산적으로 효율적인 자연 미분계수의 근사치를 사용하여 매개변수 스케일링과 활성화 함수 변경에 대해 불변성을 보장하는 실용적인 준대각 Riemannian 신경망 최적화 방법을 제안한다. 이러한 방법들은 MNIST, SVHN, FACES, EEG 데이터셋에서 SGD와 AdaGrad보다 일관된 성능 향상을 이룩하며, 약 2배의 계산 오버헤드와 함께 훨씬 빠른 수렴 속도를 보인다.

ABSTRACT

We provide the first experimental results on non-synthetic datasets for the quasi-diagonal Riemannian gradient descents for neural networks introduced in [Ollivier, 2015]. These include the MNIST, SVHN, and FACE datasets as well as a previously unpublished electroencephalogram dataset. The quasi-diagonal Riemannian algorithms consistently beat simple stochastic gradient gradient descents by a varying margin. The computational overhead with respect to simple backpropagation is around a factor $2$. Perhaps more interestingly, these methods also reach their final performance quickly, thus requiring fewer training epochs and a smaller total computation time. We also present an implementation guide to these Riemannian gradient descents for neural networks, showing how the quasi-diagonal versions can be implemented with minimal effort on top of existing routines which compute gradients.

연구 동기 및 목표

• 실제 비합성 데이터셋에 대해 신경망의 준대각 Riemannian 경사하강 알고리즘을 구현하고 평가하는 것.
• 이러한 Riemannian 방법이 매개변수 스케일링이나 활성화 함수 선택에 대한 민감도 없이 핵심 불변성 성질을 유지하면서도 계산적으로 실현 가능함을 보여주는 것.
• 최소한의 하이퍼파라미터 튜닝으로도 기존의 SGD와 AdaGrad보다 더 빠른 수렴 속도와 더 나은 최종 성능을 달성함을 보여주는 것.
• 기존 딥러닝 프레임워크에 최소한의 코드 변경으로 쉽게 통합할 수 있도록 실용적인 구현 가이드를 제공하는 것.
• 자연 미분계수의 불변성 성질이 정확한 Fisher 정보 매트릭스 계산의 전체 계산 비용 없이도 효과적으로 근사될 수 있음을 검증하는 것.

제안 방법

• 이 방법은 매개변수와 활성화 함수의 아핀 변환에 대해 불변성을 유지하는 자연 미분계수 프레임워크에서 유도된 준대각 Riemannian 메트릭을 사용한다.
• 두 가지 핵심 루틴을 도입한다: 전치행렬 갱신을 위한 QDRankOneUpdate와 낮은 랭크 보정 구조를 이용한 선형 시스템을 효율적으로 푸는 QDSolve.
• 알고리즘은 RMSProp과 AdaGrad와 유사하게 각 매개변수별로 기울기와 제곱 기울기를 추적함으로써 기존 기울기 계산 파이프라인의 재사용을 가능하게 한다.
• 전치행렬은 거의 대각형이면서도 몇 가지 잘 선택된 비대각 성분을 포함하여, 신속한 역행렬 계산을 가능하게 하면서도 스케일링과 부호 반전 변환에 대해 불변성을 유지한다.
• 행렬의 가역성을 보장하기 위해 작은 수치적 정규화 항(ε = 10⁻⁸)을 포함하며, 이는 불변성을 해치지 않도록 선택되어 수치적 안정성을 확보한다.
• 이 방법은 MNIST, SVHN, FACES, EEG 데이터셋에서 분류 및 오토에인코드러 작업에 적용되었으며, 가우시안 출력과 학습된 분산을 포함한 재구성 작업도 수행되었다.

실험 결과

연구 질문

• RQ1 준대각 Riemannian 최적화 방법이 실제 비합성 데이터셋에서 표준 SGD와 AdaGrad를 능가할 수 있는가?
• RQ2 실제로 매개변수 스케일링과 활성화 함수 변경(예: 시그모이드 vs. 탄젠트 하이퍼볼릭)에 대해 이러한 Riemannian 방법이 얼마나 잘 불변성을 유지하는가?
• RQ3 이 방법들의 계산 오버헤드는 표준 백프로파게이션과 비교해 어떻게 되며, 성능 향상에 비례하는가?
• RQ4 이 방법들은 표준 알고리즘보다 더 빠르게 수렴하는가? 이를 통해 필요한 학습 에포크 수와 총 계산 시간이 감소하는가?
• RQ5 다양한 데이터 분포와 아키텍처, 특히 학습된 출력 분산을 가진 오토에인코드러에서 이러한 방법들은 어떻게 성능을 내는가?

주요 결과

• 준대각 Riemannian 알고리즘은 MNIST, SVHN, FACES, EEG 등 모든 테스트 데이터셋에서 SGD와 AdaGrad를 일관되게 능가하며, 데이터셋에 따라 성능 향상 정도가 다름.
• FACES 데이터셋에서는 Riemannian 방법(특히 QDOP)이 몇 에포크 내로 평균 제곱오차를 45 이하로 낮추었고, 반면 SGD와 AdaGrad는 많은 에포크가 지나도 약 45에 머물러 있었다.
• EEG 데이터셋에서는 FACES만큼 뚜렷한 성능 향상은 아니었지만, 다양한 데이터 유형에 걸쳐 뛰어난 강건성을 보여주었다.
• 학습된 출력 분산을 가진 MNIST 오토에인코드러 실험에서 QDOP는 진짜 노이즈 모델이 대각 가우시안과 다를 경우에도 가장 효율적인 알고리즘이었다.
• Riemannian 방법은 초기 학습 에포크에서 수렴 속도가 크게 빨라져 최종 성능에 더 일찍 도달하고 총 학습 시간을 줄일 수 있었다.
• 계산 오버헤드는 표준 백프로파게이션의 약 2배로, 실질적인 구현에 적합한 것으로 확인되었다.