[논문 리뷰] Tractable structured natural gradient descent using local parameterizations

Lin Wu, Frank Nielsen외 2명|arXiv (Cornell University)|2021. 02. 15.

Face and Expression Recognition참고 문헌 49인용 수 5

한 줄 요약

이 논문은 구조적 파라미터 공간(예: 저질서 또는 희소 공분산)에 대해 계산적으로 비가역적인 피셔 정보 행렬(FIM) 계산을 피하기 위해 局소 매개변수화를 활용하여 계산 가능하고 자연계수 경사하강법을 제안한다. 행렬군을 통해 구조적 제약 조건을 유지하는 보조 매개변수화를 사용함으로써, 딥러닝, 변분 추론, 진화 전략 등 다양한 분야에서 기하학적 인식을 갖춘 효율적인 최적화를 가능하게 하며, 재매개변수화에 대한 불변성과 확장 가능한 헤시안-벡터 곱 계산을 제공한다.

ABSTRACT

Natural-gradient descent (NGD) on structured parameter spaces (e.g., low-rank covariances) is computationally challenging due to difficult Fisher-matrix computations. We address this issue by using \emph{local-parameter coordinates} to obtain a flexible and efficient NGD method that works well for a wide-variety of structured parameterizations. We show four applications where our method (1) generalizes the exponential natural evolutionary strategy, (2) recovers existing Newton-like algorithms, (3) yields new structured second-order algorithms via matrix groups, and (4) gives new algorithms to learn covariances of Gaussian and Wishart-based distributions. We show results on a range of problems from deep learning, variational inference, and evolution strategies. Our work opens a new direction for scalable structured geometric methods.

연구 동기 및 목표

• 저질서 또는 희소 공분산과 같은 구조적 파라미터 공간에서 자연계수 경사하강법(NGD)의 계산 비가역성 문제를 해결하기 위해, 특이하거나 계산이 어려운 피셔 정보 행렬(FIM)을 피하기 위한 것이다.
• FIM 계산에서의 특수한 근사나 부정확한 근사 없이 기하학적 불변성을 유지하는 일반적이고 융통성 있는 NGD 프레임워크를 개발하기 위한 것이다.
• 구조적 제약 조건을 유지하는 국소 좌표를 활용하여 딥러닝, 변분 추론, 진화 전략 등 응용 분야에서 효율적인 최적화를 가능하게 하기 위한 것이다.
• 뉴턴 유사 알고리즘, 지수 자연 진화 전략 등 기존의 두 번째 차수 방법들을 하나의 기하학적 프레임워크로 통합하고 일반화하기 위한 것이다.

제안 방법

• 저질서 공분산 행렬과 같은 구조적 파라미터를 표현하기 위해 보조 변수(예: 행렬 인수분해)를 사용하는 국소 매개변수화 기법을 도입하여, 제약 조건이 있는 매니폴드 위에서 직접 FIM을 계산하지 않도록 한다.
• 국소 매개변수(η)에서 보조 매개변수(λ)로, 그리고 λ에서 글로벌 매개변수(τ)로의 두 단계 매핑을 사용하여, 매끄럽고 가역적인 변환을 통해 구조적 제약 조건이 유지되도록 한다.
• 헤시안-벡터 곱과 행렬군의 구조(예: 상삼각 또는 하삼각 행렬)를 활용하여 국소 매개변수 공간에서 NGD 업데이트를 유도함으로써, 효율적이고 안정적인 업데이트를 가능하게 한다.
• 행렬 지수와 요소별 추출(κ_up)과 같은 행렬 함수를 사용하여 정밀도 행렬에 희소성과 저질서 구조를 강제한다.
• 정밀도 행렬을 구조적 인수분해(예: B = B_t h(M), 여기서 h는 행렬 지수)로 매개변수화하여 가우시안 및 와이소프 분포에 적용한다.
• 기하학적 매니폴드의 구조에서 유도된 상수 행렬 C_up을 사용하여 업데이트를 스케일링함으로써 일관된 곡률 근사가 보장되도록 한다.

실험 결과

연구 질문

• RQ1 저질서 또는 희소 공분산과 같은 구조적 파라미터 공간에 대해, FIM 계산 비용이 막대한 데도 불구하고 자연계수 경사하강법을 계산 가능하게 만들 수 있는가?
• RQ2 국소 매개변수화는 두 번째 차수 최적화에서 기하학적 불변성과 구조적 제약 조건을 어떻게 유지할 수 있는가?
• RQ3 이 프레임워크는 뉴턴 유사 알고리즘, 진화 전략 등 기존의 두 번째 차수 알고리즘들을 얼마나 잘 통합하고 일반화할 수 있는가?
• RQ4 헤시안-벡터 곱과 행렬군의 구조를 활용하여 이 방법을 고차원 문제에 효율적으로 구현할 수 있는가?

주요 결과

• 표준 경사하강법과 달리, 베이지안 로지스틱 회귀에서 이 방법은 매개변수화 선택에 대해 불변성을 보이며 재매개변수화에 대한 강건성을 입증한다.
• 이 방법은 행렬군 매개변수화를 활용하여 기존의 지수 자연 진화 전략을 더 넓은 기하학적 프레임워크에 통합함으로써 일반화한다.
• 저질서 가우시안 공분산 학습에서 이 방법은 기존의 뉴턴 유사 알고리즘을 복원하고, 행렬군 매개변수화를 통해 새로운 구조적 두 번째 차수 업데이트를 도입한다.
• 헤시안-벡터 곱과 구조적 행렬 인수분해를 사용함으로써, 전체 FIM 계산을 피하면서도 변분 추론과 딥러닝에서 효율적인 최적화를 가능하게 한다.
• 실험 결과로는 이 방법이 딥러닝, 변분 추론, 진화 전략 벤치마크에서 표준 NGD 및 일阶 기반 알고리즘보다 우수한 성능을 보이며, 안정적인 수렴과 향상된 샘플 효율성을 확보한다.