[논문 리뷰] Fast and accurate optimization on the orthogonal manifold without retraction

Pierre Ablin, Gabriel Peyré|arXiv (Cornell University)|2021. 02. 15.

Matrix Theory and Algorithms인용 수 4

한 줄 요약

이 논문은 재타입(retraction)을 사용하지 않고 직교 다양체 위에서 함수 최적화를 위한 빠르고 수치적으로 안정된 방법인 랜딩 알고리즘을 제안한다. 임의의 반복값을 직교 다수체로 향하는 잠재 에너지에 따라 진화시킴으로써, 지수 함수나 제곱근과 같은 비용이 많이 드는 행렬 연산을 피하고, 오직 행렬 곱셈만을 사용함으로써, 특히 대규모 및 딥러닝 환경에서 재타입 기반 방법보다 더 빠른 수렴 속도와 낮은 직교화 오차를 달성한다.

ABSTRACT

We consider the problem of minimizing a function over the manifold of orthogonal matrices. The majority of algorithms for this problem compute a direction in the tangent space, and then use a retraction to move in that direction while staying on the manifold. Unfortunately, the numerical computation of retractions on the orthogonal manifold always involves some expensive linear algebra operation, such as matrix inversion, exponential or square-root. These operations quickly become expensive as the dimension of the matrices grows. To bypass this limitation, we propose the landing algorithm which does not use retractions. The algorithm is not constrained to stay on the manifold but its evolution is driven by a potential energy which progressively attracts it towards the manifold. One iteration of the landing algorithm only involves matrix multiplications, which makes it cheap compared to its retraction counterparts. We provide an analysis of the convergence of the algorithm, and demonstrate its promises on large-scale and deep learning problems, where it is faster and less prone to numerical errors than retraction-based methods.

연구 동기 및 목표

• 특히 대규모 문제에서 직교 다수체 위에서 리만 최적화의 재타입 계산 병목 현상을 해결하기 위해.
• 매트릭스 지수나 제곱근과 같은 비용이 많이 드는 선형대수 연산을 피하면서도 직교성의 높은 정확도를 유지하는 방법을 개발하기 위해.
• 부동소수점 정밀도 제한으로 인한 수치 오차 누적 문제를 줄이기 위해.
• 직교 가중치 행렬이 필요한 딥러닝 응용 분야에서의 단순화 및 재타입 방법의 실용적인 대안을 제공하기 위해.
• 잠재력 기반 역학에 의한 비가능한 최적화가 가용한 방법보다 속도와 최종 직교성 측면에서 뛰어나게 성능을 발휘할 수 있음을 보여주기 위해.

제안 방법

• 랜딩 알고리즘은 직교 다수체에서의 이탈을 방지하는 잠재 에너지 함수에 의해 지배되는 연속적인 흐름을 통해 반복값을 진화시킨다.
• 업데이트 규칙은 행렬 역행렬, 지수 함수, 제곱근과 같은 연산을 피하기 위해 오직 행렬 곱셈만을 포함한다.
• 잠재 에너지는 $ \mathcal{N}(X) = \frac{1}{4}\|XX^\top - I_p\|^2 $ 로 정의되며, 이는 직교 다수체까지의 제곱 거리를 측정한다.
• 이 방법은 리만 기반 경사하강법 프레임워크를 사용하지만, 재타입 단계를 직교 다수체로의 동역학 통합으로 대체한다.
• 알고리즘은 운동량을 구현할 수 있으며, SGD나 Adam과 같은 표준 최적화 프레임워크와 조합할 수 있다.
• 전역적 및 국소적 수렴 분석을 통해 반복값이 다수체로 수렴하고 목적 함수의 국소 최소값으로 수렴하는 것으로 나타났다.

Figure 1: Trajectories of the landing algorithm and of a retraction gradient descent with $p=2$ . The iterates are $2\times 2$ matrices, the $x$ -axis corresponds to coefficient $(1,1)$ of the matrices, and the $y$ -axis to coefficient $(1,2)$ . The retraction method stays on $\mathcal{O}_{p}$ (blac

실험 결과

연구 질문

• RQ1 재타입이 없는 직교 다수체 위의 최적화 방법이 재타입 기반 방법과 비교해 유사하거나 더 빠른 수렴 속도와 정확도를 달성할 수 있는가?
• RQ2 각 반복에서 비용이 많이 드는 선형대수 연산을 피하면, 특히 큰 행렬에서 계산 효율성이 크게 향상되는가?
• RQ3 일시적으로 다수체를 이탈하는 비가용 최적화 방법이 수치 오차 누적을 줄여 최종 직교성 측면에서 가용 방법보다 뛰어난 성능을 내는가?
• RQ4 학습 속도와 최종 성능 측면에서 랜딩 알고리즘은 행렬 지수를 통해 매개변수화하는 단순화 방법(예: 행렬 지수 기반)과 비교해 어떻게 다른가?
• RQ5 작은 배치 크기 대비 큰 배치 크기에서 어떤 범위에서 랜딩 알고리즘이 가장 큰 계산적 이점을 제공하는가?

주요 결과

• MNIST에서 LeNet5를, CIFAR-10에서 ResNet18를 훈련할 때 랜딩 알고리즘은 재타입 기반 방법 대비 최대 50% 더 빠르며, 특히 배치 크기가 작은 경우에 두드러진다.
• 반복 과정에서 수치 오차 누적이 줄어들어, 재타입 기반 방법보다 낮은 직교화 오차를 달성한다.
• LeNet5를 사용한 MNIST 실험에서 랜딩 알고리즘은 운동량을 적용했을 때 모든 재타입 기반 방법보다 빠른 속도와 더 높은 최종 직교성을 확보한다.
• Adam 또는 RMSProp를 사용한 단순화 방법은 가장 낮은 테스트 오차를 기록하지만, 각 단계에서 행렬 지수를 통해 역전파를 수행하기 때문에 시간이 약 10배 더 오래 걸린다.
• 큰 배치 크기에서는 백프로파게이션 비용이 지배적이기 때문에 랜딩 방법의 계산적 이점이 줄어들지만, 수치 정확도의 이점은 그대로 유지된다.
• 저해상도 딥러닝 프레임워크에서도 랜딩 방법은 높은 정확도를 유지하며, 반면 재타입 기반 방법은 종종 직교 다수체에서 벗어나는 드리프트 현상을 겪는다.

Figure 2: Time required to compute $500$ retractions $\tilde{\mathcal{R}}(X,A)$ when $A$ and $X$ are of size $p\times p$ , on a GPU.