[논문 리뷰] Variational Optimization on Lie Groups, with Examples of Leading (Generalized) Eigenvalue Problems

Molei Tao, Tomoki Ohsawa|arXiv (Cornell University)|2020. 01. 27.

Optimization and Variational Analysis인용 수 6

한 줄 요약

이 논문은 리 군 위에서 변분 Nesterov 가속 경사(이하 NAG) 역학을 도입하여, 벡터 공간에서의 NAG 변분 원리를 다양체로 일반화한다. SO(n)에 대해 군 소속성과 에너지 보존을 유지하는 연속적이고 구조를 유지하는 이산 알고리즘을 유도하며, 일반화된 고유값 문제, 특히 MNIST에서의 LDA를 포함한 주요 문제들에서 뛰어난 수렴 성능을 보인다.

ABSTRACT

The article considers smooth optimization of functions on Lie groups. By generalizing NAG variational principle in vector space (Wibisono et al., 2016) to Lie groups, continuous Lie-NAG dynamics which are guaranteed to converge to local optimum are obtained. They correspond to momentum versions of gradient flow on Lie groups. A particular case of $\\mathsf{SO}(n)$ is then studied in details, with objective functions corresponding to leading Generalized EigenValue problems: the Lie-NAG dynamics are first made explicit in coordinates, and then discretized in structure preserving fashions, resulting in optimization algorithms with faithful energy behavior (due to conformal symplecticity) and exactly remaining on the Lie group. Stochastic gradient versions are also investigated. Numerical experiments on both synthetic data and practical problem (LDA for MNIST) demonstrate the effectiveness of the proposed methods as optimization algorithms ($not$ as a classification method).

연구 동기 및 목표

• 벡터 공간에서의 Nesterov 가속 경사(NAG) 변분 원리를 리 군으로 일반화하여, 곡면 다각형 위에서 운동량 기반 최적화를 가능하게 한다.
• 군 소속성과 에너지 행동과 같은 기하학적 구조를 유지하는 리 군 위의 연속적 및 이산 동역학계를 개발한다.
• 데이터 과학과 선형 대수학의 핵심이 되는 비볼록 최적화 문제인 (일반화된) 고유값 문제(GEV)에 이 프레임워크를 적용한다.
• 실세계 데이터, 예를 들어 선형 판별 분석(LDA)을 위한 MNIST 데이터셋에서 제안된 방법의 효과성을 입증한다. 이는 최첨단 분류 성능를 목표로 하지 않는다.
• 고유값 간격 조건에 민감하지 않으며, 최소한의 초모수 조정으로도 기존 방법들(예: GHA)보다 수렴 속도에서 뛰어나다.

제안 방법

• 벡터 공간에서의 Wibisono 등(2016)의 NAG 변분 원리를 리 군으로 일반화하여, 리 군의 탄성다발 위의 2차 미분방정식으로서의 연속적 리-NAG 역학을 도출한다.
• 리 대수를 사용하여 왼쪽 이식화를 통해 속도를 표현함으로써, SO(n)에서의 리-NAG 역학에 대한 명시적 좌표 표현을 유도한다.
• 에너지 행동을 유지하고 리 군 다양체에 정확히 부합하도록, 동역학을 콫모르탈 심플렉틱 적분기법으로 이산화한다.
• 특히 비제로 온도에서 수치적 불변 분포로 인한 문제를 해결하기 위해, 수렴 안정성을 향상시키기 위해 수정된 소산 항을 동역학에 도입한다.
• 목적함수 헤시안의 배치 근사값을 사용하여 스 tochastic gradient로 프레임워크를 적응시키며, 변동성에도 불구하고 수렴을 유지하기 위해 보정 항을 도입한다.
• 정확도가 부족할 경우에만 오일러 적분을 사용하는 등, 공정한 비교를 위해 GHA 알고리즘의 수정된 버전(4단계 룬게-쿠타 기반)을 적용한다.

실험 결과

연구 질문

• RQ1 벡터 공간에서의 Nesterov 가속 경사(NAG) 변분 원리는 리 군으로 일반화될 수 있으며, 수렴성과 운동량 이점이 유지되는가?
• RQ2 특히 SO(n)에 대해 리 군 위의 연속적 NAG 역학은 좌표 기반으로 어떻게 명시적으로 기술될 수 있으며, 기하학적 및 역학적 성질은 무엇인가?
• RQ3 리-NAG 역학의 구조를 유지하는 이산화 과정을 통해, 리 군 위에 정확히 머무르며 에너지를 보존하는 최적화 알고리즘이 도출될 수 있는가?
• RQ4 실제 데이터, 예를 들어 MNIST에서의 LDA에 대해 제안된 리-NAG 방법은 GHA와 같은 기존 알고리즘보다 수렴 속도와 내구성 면에서 어떻게 비교되는가?
• RQ5 고유값 간격이 존재하지 않는 조건에서도 제안된 방법은 효과를 유지하는가? 이는 일반적으로 파wer-메소드 기반 알고리즘의 수렴을 제한하는 조건이다.

주요 결과

• 제안된 리-NAG 역학은 합성 및 실세계 일반화된 고유값 문제에서 국소 최소값으로 수렴하며, 표준 리 군 경사하강법(Lie-GD)과 GHA보다 수렴 속도에서 뛰어나다.
• 다중 클래스 LDA를 위한 MNIST 데이터셋에서, 리-NAG-C 및 리-NAG-SC 알고리즘은 최소한의 초모수 조정으로도 GHA보다 훨씬 더 빠르게 수렴한다.
• NAG-C에 도입된 보정된 소산 항은 수렴 안정성을 보장하여, 비보정된 버전이 수치적 불변 분포로 인해 비제로 오차 수준에서 정체되는 것을 방지한다.
• 리-NAG 방법은 고유값 간격이 필요하지 않으며, 파워-메소드 기반 알고리즘이 실패하거나 느려지는 경우에도 내구성을 보여준다.
• 수치 실험 결과, 이산 알고리즘이 리 군(SO(n)) 위에 그대로 머물며, 콕모르탈 심플렉틱성 덕분에 에너지 행동을 보존함을 확인했으며, 편차는 기계 정밀도에 기인한다.
• 알고리즘의 스 tochastic 변형은 배치 기반 경사 근사에서도 수렴을 유지하며, 보정된 소산 항이 장기적 성능에서 핵심적인 역할을 한다.