[논문 리뷰] Structured Quasi-Newton Methods for Optimization with Orthogonality Constraints

Jiang Hu, Bo Jiang외 3명|arXiv (Cornell University)|2018. 09. 03.

Advanced Optimization Algorithms Research인용 수 11

한 줄 요약

이 논문은 직교성 제약 조건이 있는 최적화를 위한 구조적 준뉴턴 방법을 제안한다. 유클리드 헤시안의 비용이 많이 드는 부분은 제한된 메모리 니스트롬 방법을 통해 근사하면서도, 더 저렴한 성분은 유지한다. 이 방법은 리만기하학적 방법에서 흔히 사용되는 벡터 운반 연산을 피하기 위해 암시적 유클리드 공간에서 작업함으로써, 충분한 정확도로 하위문제를 해결함으로써 전역 수렴성과 q-초선형 수렴성을 달성한다.

ABSTRACT

In this paper, we study structured quasi-Newton methods for optimization problems with orthogonality constraints. Note that the Riemannian Hessian of the objective function requires both the Euclidean Hessian and the Euclidean gradient. In particular, we are interested in applications that the Euclidean Hessian itself consists of a computational cheap part and a significantly expensive part. Our basic idea is to keep these parts of lower computational costs but substitute those parts of higher computational costs by the limited-memory quasi-Newton update. More specically, the part related to Euclidean gradient and the cheaper parts in the Euclidean Hessian are preserved. The initial quasi-Newton matrix is further constructed from a limited-memory Nyström approximation to the expensive part. Consequently, our subproblems approximate the original objective function in the Euclidean space and preserve the orthogonality constraints without performing the so-called vector transports. When the subproblems are solved to sufficient accuracy, both global and local q-superlinear convergence can be established under mild conditions. Preliminary numerical experiments on the linear eigenvalue problem and the electronic structure calculation show the effectiveness of our method compared with the state-of-art algorithms.

연구 동기 및 목표

• 직교성 제약 조건이 있는 최적화에서 이차 정보의 높은 계산 비용을 해결한다. 특히 헤시안 행렬의 일부 성분이 매우 비쌀 경우를 대비한다.
• 리만기하학적 준뉴턴 방법에서 흔히 사용되는 고비용의 벡터 운반 연산을 피할 수 있는 방법을 개발한다.
• 헤시안의 계산 비용이 저렴한 성분은 유지하면서, 비용이 많이 드는 성분은 제한된 메모리 준뉴턴 업데이트를 통해 근사한다.
• 유클리드 공간에서 목표 함수를 근사함으로써 직교성 제약 조건을 유지하면서 수렴성을 확보한다.
• 신뢰영역 유사 전략과 수정된 공액 그래디언트 해법기를 사용하여 온건한 조건 하에 전역 수렴성과 국소 q-초선형 수렴성을 달성한다.

제안 방법

• 저렴한 성분을 유지하면서, 비용이 많이 드는 성분을 제한된 메모리 준뉴턴 업데이트로 대체함으로써 유클리드 헤시안의 근사를 구성한다.
• 비용이 많이 드는 헤시안 성분의 초기 준뉴턴 행렬을 제한된 메모리 니스트롬 근사를 사용해 구축한다.
• 유클리드 공간에서 목표 함수의 정규화된 근사 이차 테일러 전개를 기반으로 하위문제를 설정한다.
• 정규화 파rameter에 대해 신뢰영역 유사 전략을 사용한 수정된 공액 그래디언트 방법으로 하위문제를 해결한다.
• 직접적인 유클리드 공간에서 직교성 제약 조건을 유지함으로써, 벡터 운반 또는 재접속 연산이 필요 없도록 한다.
• 리만 헤시안의 구조를 활용하여 준뉴턴 업데이트를 구성하면서도 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 직교성 제약 조건이 있는 최적화를 위한 준뉴턴 방법을 설계할 수 있을까? 특히 고비용의 벡터 운반 연산을 피할 수 있을까?
• RQ2 헤시안이 저렴한 성분과 훨씬 더 비싼 성분으로 구성되어 있을 경우, 어떻게 효율적으로 헤시안을 근사할 수 있을까?
• RQ3 헤시안 근사에서 계산 비용을 줄이면서도 전역 수렴성과 국소 q-초선형 수렴성을 유지할 수 있을까?
• RQ4 다양체의 재접속 없이도 유클리드 공간에서 목표 함수의 구조를 유지하는 준뉴턴 업데이트를 구성할 수 있을까?
• RQ5 비용이 많이 드는 헤시안 성분에 대한 제한된 메모리 니스트롬 근사는 수렴성과 수치적 성능에 어떤 영향을 미칠까?

주요 결과

• 제안된 방법은 헤시안의 일부만 가용할 경우조차도 온건한 조건 하에 전역 수렴성과 국소 q-초선형 수렴성을 달성한다.
• 직접적인 유클리드 공간에서 작업함으로써 벡터 운반을 피함으로써 계산 오버헤드를 줄였다.
• 선형 고유값 문제와 전자 구조 계산에 대한 초기 수치 실험 결과, 최신 기술 대비 향상된 성능을 보였다.
• 제한된 메모리 니스트롬 근사는 저장 용량과 계산 비용을 줄이며 비용이 많이 드는 헤시안 성분의 주요 구조를 효과적으로 포착한다.
• 정규화 파rameter에 대한 신뢰영역 유사 전략은 하위문제의 정확한 해를 보장하여 수렴성에 있어 핵심적인 역할을 한다.
• 명시적인 재접속 또는 벡터 운반 연산 없이도 직교성 제약 조건을 정확히 유지한다.