[논문 리뷰] Revisiting Natural Gradient for Deep Networks

Razvan Pascanu, Yoshua Bengio|arXiv (Cornell University)|2013. 01. 16.

Stochastic Gradient Optimization Techniques인용 수 121

한 줄 요약

이 논문은 히세-프리 최적화와 크릴로프 부분공간 강하법과의 연결을 통해 딥 네트워크를 위한 자연 경사 하강법(NGD)을 재검토하며, 대각 근사값 대신 피셔 정보 행렬의 역행렬을 구하기 위해 잘라내기 뉴턴 방법을 제안한다. 주요 기여는 더 정확한, 두 번째 차수 정보를 반영한 NGD 변종으로, 특히 미라벨 데이터를 사용할 때나 학습 데이터 순서에 대해 강건할 때 수렴성과 일반화 성능을 향상시킨다.

ABSTRACT

We evaluate natural gradient, an algorithm originally proposed in Amari (1997), for learning deep models. The contributions of this paper are as follows. We show the connection between natural gradient and three other recently proposed methods for training deep models: Hessian-Free (Martens, 2010), Krylov Subspace Descent (Vinyals and Povey, 2012) and TONGA (Le Roux et al., 2008). We describe how one can use unlabeled data to improve the generalization error obtained by natural gradient and empirically evaluate the robustness of the algorithm to the ordering of the training set compared to stochastic gradient descent. Finally we extend natural gradient to incorporate second order information alongside the manifold information and provide a benchmark of the new algorithm using a truncated Newton approach for inverting the metric matrix instead of using a diagonal approximation of it.

연구 동기 및 목표

• 딥 러닝의 맥락에서 자연 경사 하강법(NGD)을 재평가하고, 특히 두 번째 차수 최적화 방법과의 관계를 탐색한다.
• 피셔 정보 행렬의 역행렬을 구하기 위해 잘라내기 뉴턴 방법을 활용해 NGD를 향상시켜 전체 두 번째 차수 정보를 통합한다.
• 메트릭 추정에 미라벨 데이터를 통합하여 NGD의 일반화 성능을 향상시키는지 조사한다.
• 자연 경사 하강법(NGD)이 확률적 경사 하강법(SGD)과 비교해 학습 데이터 순서에 대해 얼마나 강건한지 실증적으로 평가한다.
• 메모리 오버헤드를 줄이기 위해 크릴로프 부분공간 기법을 사용한 켤레 기울기 유사 업데이트로 NGD를 확장한다.

제안 방법

• 히세의 확장된 가우스-뉴턴 근사법을 사용해 NGD, 히세-프리 최적화, 크릴로프 부분공간 강하법 간 이론적 연결을 수립한다.
• 대각 또는 밴드 근사값을 피하기 위해 전체 피셔 정보 행렬의 역행렬을 구하기 위해 잘라내기 뉴턴 방법을 제안한다.
• 메트릭의 역행렬을 구하기 위해 선형 켤레 기울기 방법을 도입하여 크릴로프 부분공간 방법 대비 메모리 사용량을 줄인다.
• 전진 및 역방향 전파를 통해 효율적인 히세-벡터 곱과 야코비-벡터 곱을 계산하기 위해 자동 미분을 활용한다.
• 기울기와 메트릭 추정에 서로 다른 미니배치를 사용하여 자연 경사 방향의 노이즈를 줄인다.
• 작은 미니배치를 사용해 기울기와 메트릭을 추정할 때 업데이트를 안정화시키기 위해 선형 탐색과 덤핑을 적용한다.

실험 결과

연구 질문

• RQ1 확장된 가우스-뉴턴 근사법을 통해 자연 경사 하강법, 히세-프리 최적화, 크릴로프 부분공간 강하법는 어떻게 연결되는가?
• RQ2 피셔 행렬의 역행렬을 구하기 위해 잘라내기 뉴턴 방법을 사용하면 NGD의 수렴성과 일반화 성능을 향상시킬 수 있는가?
• RQ3 메트릭 추정에 미라벨 데이터를 통합하면 NGD의 일반화 오차가 향상되는가?
• RQ4 NGD는 SGD보다 학습 데이터 순서에 더 강건한가?
• RQ5 매개변수 다양체 상에서 켤레 기울기 접근법이 표준 NGD를 능가하면서도 메모리 사용량을 줄일 수 있는가?

주요 결과

• 잘라내기 뉴턴 방법을 사용해 메트릭의 역행렬을 구하는 제안된 NGD 변종은 대각 근사값을 사용하는 표준 NGD보다 더 빠르게 수렴한다.
• 피셔 정보 행렬 추정에 미라벨 데이터를 통합하면 일반화 오차가 감소하며, 특히 메트릭이 더 정확할 경우에 두드러진다.
• 실증적으로 NGD는 SGD보다 데이터 순서에 더 강건함을 확인했으며, 이는 비정적학습 환경에서 잠재적인 이점이 있음을 시사한다.
• 기울기와 메트릭 추정에 별도의 데이터를 사용할 경우, 덤핑과 학습률을 제어하면 작은 미니배치에서도 알고리즘이 안정적으로 작동한다.
• 선형 탐색을 통해 켤레 기울기 단계의 학습률과 방향을 조정하면 고정 또는 폴락-리비에르 기반 업데이트보다 성능이 향상된다.
• 크릴로프 부분공간 강하법(KSD)과 NGD 간의 연결성이 확인되었으며, 제안된 방법은 KSD와 유사한 수렴 속도를 달성하면서도 더 낮은 메모리 사용량을 보였다.