[논문 리뷰] A Coordinate-Free Construction of Scalable Natural Gradient

Kevin Luk, Roger Grosse|arXiv (Cornell University)|2018. 08. 30.

Model Reduction and Neural Networks참고 문헌 29인용 수 8

한 줄 요약

이 논문은 신경망 가중치 공간에 새로 정의된 리만 계량에서 정확한 자연 미분계수로서 K-FAC 알고리즘의 좌표에 의존하지 않는 구성법을 제시한다. 미분기하학—특히 당김 사상과 애핀 변환의 관점에서 K-FAC를 기술함으로써, 업데이트 규칙이 활성화의 애핀 재매개변수화에 대해 불변임을 입증하며, 좌표 기반 근사치에 의존하지 않고도 그 불변성의 체계적인 기하학적 기초를 제공한다.

ABSTRACT

Most neural networks are trained using first-order optimization methods, which are sensitive to the parameterization of the model. Natural gradient descent is invariant to smooth reparameterizations because it is defined in a coordinate-free way, but tractable approximations are typically defined in terms of coordinate systems, and hence may lose the invariance properties. We analyze the invariance properties of the Kronecker-Factored Approximate Curvature (K-FAC) algorithm by constructing the algorithm in a coordinate-free way. We explicitly construct a Riemannian metric under which the natural gradient matches the K-FAC update; invariance to affine transformations of the activations follows immediately. We extend our framework to analyze the invariance properties of K-FAC applied to convolutional networks and recurrent neural networks, as well as metrics other than the usual Fisher metric.

연구 동기 및 목표

• K-FAC 알고리즘의 기하학적이고 좌표에 의존하지 않는 해석을 제공하여 그 불변성 특성을 설명한다.
• 신경망 가중치 공간에 K-FAC 업데이트가 이 계량 하에서 정확한 자연 미분계수인 리만 계량을 구성한다.
• K-FAC의 불변성 분석을 내재 기하 객체를 사용하여 순환 및 컨volutional 네트워크로 확장한다.
• K-FAC의 활성화에 대한 애핀 변환에 대한 불변성이 좌표에 의존하지 않는 구성에서 직접 유도됨을 보여준다.
• K-FAC를 구조적이고 근사적인 계량 하에서 자연 미분계수 방법으로 통합적으로 이해함으로써, 임의의 근사치가 아닌 체계적인 접근을 제시한다.

제안 방법

• 신경망을 추상적인 애핀 공간(활성화 및 프리-활성화) 사이의 애핀 사상의 순서로 모델링하고, 가중치와 편향을 애핀 사상의 집합으로 간주한다.
• 네트워크 사상에 의해 출력 피셔 계량의 당김을 사용하여 가중치 공간에 리만 계량을 정의함으로써 K-FAC 계량을 도출한다.
• 시간 단계(순환 네트워크에서) 또는 층(피드포워드 네트워크에서)에 따라 합산하여 K-FAC 계량을 구성하며, 활성화 외적곱과 야코비안 외적곱의 기대값을 사용한다.
• 기본 가정 하에 결과 계량이 비퇴화됨을 증명하여 자연 미분계수가 잘 정의됨을 보장한다.
• 당김의 함자적 성질을 사용하여, 결과적으로 K-FAC 업데이트 규칙이 이 K-FAC 계량 하에서 정확히 자연 미분계수임을 입증한다.
• 좌표에 의존하지 않는 추론을 통해 불변성을 증명: 활성화 또는 프리-활성화에서의 애핀 기저 변경은 계량과 따라서 업데이트 규칙을 유지한다.

실험 결과

연구 질문

• RQ1 K-FAC 알고리즘이 좌표계에 종속되지 않는 잘 정의된 리만 계량 하에서 자연 미분계수 방법으로 해석될 수 있는가?
• RQ2 K-FAC의 활성화에 대한 애핀 변환에 대한 불변성의 기하학적 구조는 무엇인가?
• RQ3 내재 기하 구조를 사용하여 K-FAC 계량을 순환 및 컨volutional 네트워크로 어떻게 확장할 수 있는가?
• RQ4 좌표에 의존하지 않는 구성법이 K-FAC가 일부 재매개변수화에 대해 불변이지만 다른 것에는 그렇지 않은 이유를 설명할 수 있는가?
• RQ5 K-FAC의 불변성 특성은 좌표 기반 업데이트 규칙의 대수적 변환을 통해 유도되는 것이 아니라, 계량 구조에서 직접 유도될 수 있는가?

주요 결과

• K-FAC 업데이트 규칙은 출력 피셔 계량의 당김을 통해 구성된 좌표에 의존하지 않는 리만 계량 하에서 정확한 자연 미분계수이다.
• K-FAC 계량은 $ g_{\text{KFAC}}(\omega) = T \cdot \mathbb{E}_{\mathbb{T}}[\alpha_{t-1} \otimes \alpha_{t-1}] \otimes \mathbb{E}_{\mathbb{T}}[\varphi_{\xi,t}^*g(\zeta_t)] $ 로 정의되며, 이는 좌표 기반으로 표현된 표준 K-FAC 근사치와 일치한다.
• K-FAC의 활성화에 대한 애핀 변환에 대한 불변성은 좌표에 의존하지 않는 구성에서 즉시 유도되며, 이러한 변환이 계량 구조를 유지하기 때문이다.
• 출력 계량의 기대값 당김이 비퇴화될 경우 K-FAC 계량은 비퇴화되며, 이는 자연 미분계수가 잘 정의됨을 보장한다.
• 시간 단계에 따라 합산하고 시간 평균 활성화 및 야코비안 통계를 사용함으로써, 이 프레임워크는 순환 네트워크로 자연스럽게 확장된다.
• 좌표에 의존하지 않는 증명을 통해 K-FAC가 애핀 재매개변수화에 대해 불변임을 보여주며, 이는 계량이 기하학적 객체(당김, 텐서곱)로부터 구성되어 이러한 변환에 대해 불변이기 때문이다.