[논문 리뷰] Kernelized Wasserstein Natural Gradient

Michael Arbel, Arthur Gretton외 2명|arXiv (Cornell University)|2019. 10. 21.

Advanced Neuroimaging Techniques and Applications참고 문헌 50인용 수 5

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 이중 표현을 활용하여 워샤프스키 메트릭의 자연 경사 하강법을 근사하기 위한 확장 가능한 방법인 커널화된 워샤프스키 자연 경사 하강법(KWNG)을 제안한다. 이는 이론적 보장과 함께 곡률에 영향을 받지 않는 효율적인 최적화를 가능하게 하며, CIFAR-10과 CIFAR-100에서 표준 SGD 및 적응형 방법보다 뛰어난 성능을 보이며, 특히 조건이 나쁜 파arametrization 하에서 유의미한 성능 향상을 보인다.

ABSTRACT

Many machine learning problems can be expressed as the optimization of some cost functional over a parametric family of probability distributions. It is often beneficial to solve such optimization problems using natural gradient methods. These methods are invariant to the parametrization of the family, and thus can yield more effective optimization. Unfortunately, computing the natural gradient is challenging as it requires inverting a high dimensional matrix at each iteration. We propose a general framework to approximate the natural gradient for the Wasserstein metric, by leveraging a dual formulation of the metric restricted to a Reproducing Kernel Hilbert Space. Our approach leads to an estimator for gradient direction that can trade-off accuracy and computational cost, with theoretical guarantees. We verify its accuracy on simple examples, and show the advantage of using such an estimator in classification tasks on Cifar10 and Cifar100 empirically.

연구 동기 및 목표

• 고차원 딥러닝 모델에서 정확한 자연 경사 하강법 계산이 계산적으로 불가능한 문제를 해결하기 위해.
• 불량한 조건을 가진 설정에서 수렴성을 향상시키기 위해 워샤프스키 메트릭을 활용한 확장 가능하고 파arametrization에 영향을 받지 않는 최적화 방법을 개발하기 위해.
• 재생 커널 힐버트 공간에서 커널 근사법을 통해 정확도와 계산 비용 간의 트레이드오프를 구현할 수 있는 민첩한 추정기 개발을 위해.
• 어려운 최적화 지형을 가진 지도 학습 과제에서 추정기의 정확성과 효과성을 경험적으로 검증하기 위해.

제안 방법

• 재생 커널 힐버트 공간(RKHS)에 제한된 워샤프스키 메트릭의 이중 표현을 사용하여 자연 경사 하강법의 닫힌 형태 표현을 유도한다.
• 자연 경사 하강법 방향을 RKHS 내에서의 볼록 기능 최적화 문제를 풀어 근사함으로써 효율적인 계산을 가능하게 한다.
• 추정기는 커널 방법과 기저 함수를 활용하여 정확도와 계산 비용 간의 트레이드오프를 구현하며, 이론적 수렴 보장을 갖는다.
• 학습을 안정화시키기 위해 레벤버그-마르카르트 역학을 사용하여 덤핑 파라미터를 적응적으로 업데이트한다.
• 동일한 이중 표현 프레임워크를 통해 워샤프스키 메트릭 외에도 파이셔-레이 메트릭과 같은 다른 메트릭으로도 일반화할 수 있다.
• CIFAR-10과 CIFAR-100에서 잔차 신경망을 사용한 엔드 투 엔드 학습을 통해 지도 학습에 적용된다.

실험 결과

연구 질문

• RQ1 커널 기반 근사법이 딥러닝 모델에 대해 계산적으로 실현 가능하면서도 높은 정확도를 달성할 수 있는가?
• RQ2 불량한 조건을 가진 파arametrization 하에서 제안된 KWNG 추정기는 표준 SGD 및 Adam과 같은 적응형 방법에 비해 수렴 속도와 일반화 성능에서 어떻게 비교되는가?
• RQ3 커널 대역폭과 기저 함수의 수가 자연 경사 하강법 근사의 정확도에 어떤 영향을 미치는가?
• RQ4 적응형 덤핑 기법은 실질적인 학습 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• KWNG 추정기는 특히 고차원 설정에서 기준 방법에 비해 자연 경사 하강법 근사에서 유의미하게 낮은 상대 오차를 기록한다.
• CIFAR-10과 CIFAR-100에서 KWNG는 훈련 정확도와 테스트 정확도 모두에서 SGD와 Adam을 능가하며, 특히 조건이 나쁜 경우에 두드러진 성능 향상을 보인다.
• 표준 SGD보다 빠른 수렴 속도를 보이며, 헤시안 조건수(Condition Number)가 높을수록 대각선 전처리법과 KFAC보다 높은 테스트 정확도를 달성한다.
• 추정기의 상대 오차는 표본 수와 기저 함수의 수가 증가함에 따라 감소하며, 차원 d=1에서 d=10까지의 범위에서 안정적인 성능을 유지한다.
• 적응형 덤핑은 학습 안정성을 향상시키며, 커널 유형(가우시안 vs. 유리 함수형)의 선택은 성능에 영향을 미치며, 대부분의 경우 가우시안 커널이 더 우수한 성능을 보인다.