[논문 리뷰] Fast Approximation of Rotations and Hessians matrices

Michaël Mathieu, Yann LeCun|arXiv (Cornell University)|2014. 04. 29.

Matrix Theory and Algorithms참고 문헌 10인용 수 22

한 줄 요약

이 논문은 FFT와 유사한 구조에 배열된 선형 시간 복잡도를 가진 Givens 회전의 조합을 사용하여 회전 행렬과 헤시안 행렬의 빠르고 학습 가능한 근사치를 제안한다. 이는 대칭 행렬 연산을 효율적으로 수행할 수 있도록 하며, 행렬-벡터 곱셈과 역행렬 연산에 대해 O(n log n)의 복잡도를 달성하여, 가우시안 프로세스 추론과 2차 최적화와 같은 대규모 머신러닝 응용 분야에서 계산 비용을 크게 감소시킨다.

ABSTRACT

A new method to represent and approximate rotation matrices is introduced. The method represents approximations of a rotation matrix $Q$ with linearithmic complexity, i.e. with $\frac{1}{2}n\lg(n)$ rotations over pairs of coordinates, arranged in an FFT-like fashion. The approximation is "learned" using gradient descent. It allows to represent symmetric matrices $H$ as $QDQ^T$ where $D$ is a diagonal matrix. It can be used to approximate covariance matrix of Gaussian models in order to speed up inference, or to estimate and track the inverse Hessian of an objective function by relating changes in parameters to changes in gradient along the trajectory followed by the optimization procedure. Experiments were conducted to approximate synthetic matrices, covariance matrices of real data, and Hessian matrices of objective functions involved in machine learning problems.

연구 동기 및 목표

• 기계학습에서 공분산 행렬과 헤시안 행렬과 같은 큰 대칭 행렬의 역행렬과 적용에 따른 높은 계산 비용을 해결하기 위해.
• 이차 복잡도 대신 선형 로그 복잡도를 가지는 파arameterized, 학습 가능한 회전 행렬 표현을 개발하기 위해.
• 2차 최적화와 베이지안 추론에 사용하기 위한 헤시안 행렬의 효율적 근사치를 제공하기 위해.
• 공분산 행렬을 효율적으로 근사시킴으로써 가우시안 혼합 모델과 변분 추론의 계산 부담을 줄이기 위해.
• 스토하스틱 그래디언트 디센트를 사용하여 최적화 중에 헤시안 근사치를 스케일러블하고 실시간으로 추적할 수 있도록 지원하기 위해.

제안 방법

• 좌표 쌍에 대해 n log n / 2개의 기본 Givens 회전을 사용하여 행렬 Q를 파arameterize하고, 이를 FFT와 유사한 버블리 구조에 배열한다.
• 대칭 행렬 H를 H = Q D Q^T로 표현하며, 여기서 D는 대각행렬이고 Q는 학습된 회전 행렬이다. 이를 통해 행렬-벡터 곱셈과 역행렬 연산을 효율적으로 수행할 수 있다.
• 최소 제곱 오차를 최소화함으로써, 근사 행렬과 목표 행렬 간의 오차를 줄이기 위해 스토하스틱 그래디언트 디센트를 사용하여 회전 파라미터를 학습한다.
• 최적화 궤적을 따라 파라미터 업데이트 δu와 기울기 변화 δg 간의 관계를 이용하여 헤시안 행렬을 근사한다.
• 분할된 미니배치 간의 일致성을 유지하면서, 미니배치 학습에 적용하기 위해 기울기를 집계한다.
• 역전파를 활용하여 회전 파라미터에 대한 헤시안 근사치의 기울기를 효율적으로 계산하며, O(n log n) 복잡도를 유지한다.

실험 결과

연구 질문

• RQ1 O(n log n) 연산을 가지는 구조적이고 학습 가능한 회전 행렬이 헤시안 행렬과 공분산 행렬과 같은 큰 대칭 행렬을 충분한 정확도로 근사할 수 있는가?
• RQ2 Givens 회전을 FFT 유사 버블리 패턴에 배열하면, 복잡한 행렬 구조를 표현하기에 충분히 풍부한 근사 공간을 제공하는가?
• RQ3 단지 파라미터 업데이트와 기울기 변화만을 사용하여 최적화 중에 헤시안 근사치를 효과적으로 학습하고 추적할 수 있는가?
• RQ4 고차원 설정에서 전체 행렬 연산 대비 이 방법의 계산 비용과 메모리 사용량 측면에서의 스케일링 성능은 어떠한가?
• RQ5 이 근사치가 가우시안 모델과 2차 최적화에서 추론 속도를 얼마나 향상시킬 수 있는가?

주요 결과

• 행렬-벡터 곱셈과 역행렬 연산에 대해 O(n log n) 복잡도를 달성하여, 기존의 O(n²)에서 O(n log n)로 계산 비용을 감소시켰다.
• 헤시안 근사치는 O(n log n) 시간 내에 계산되고 미분 가능하므로, 효율적인 2차 최적화를 가능하게 한다.
• 실험을 통해 인공 데이터, 실제 데이터의 공분산 행렬, 헤시안 행렬 모두에서 학습된 회전 행렬이 양호한 근사 품질을 달성하였다.
• 분할된 미니배치 간의 기울기 일치성을 유지함으로써, 확장 가능한 학습을 위한 효율적 미니배치 학습을 지원한다.
• 반복당 총 계산 오버헤드는 약 12n log n + 3n 연산이며, 헤시안과 그 기울기의 메모리 사용량은 4n log n + 2n 파라미터이다.
• 특히 매트릭스 근사치를 사전에 계산하고 재사용할 수 있는 추론 작업에서 이 방법은 매우 효과적이다. 예를 들어 가우시안 혼합 모델과 베이지안 추론에서 유용하다.