[論文レビュー] Structured Quasi-Newton Methods for Optimization with Orthogonality Constraints

Jiang Hu, Bo Jiang+3 more|arXiv (Cornell University)|Sep 3, 2018

Advanced Optimization Algorithms Research被引用数 11

ひとこと要約

本稿では、直交制約付き最適化のための構造的準ニュートン法を提案する。ユークリッド空間におけるヘシアンの高価な部分は、限られたメモリを用いたニストルム法によって近似されつつ、より安価な部分はそのままで保持される。本手法はリーマン多様体上の準ニュートン法で一般的に必要なベクトル輸送を回避し、環境ユークリッド空間上で直接計算することで、十分な精度で部分問題を解くことにより、グローバル収束およびq-超線形収束を達成する。

ABSTRACT

In this paper, we study structured quasi-Newton methods for optimization problems with orthogonality constraints. Note that the Riemannian Hessian of the objective function requires both the Euclidean Hessian and the Euclidean gradient. In particular, we are interested in applications that the Euclidean Hessian itself consists of a computational cheap part and a significantly expensive part. Our basic idea is to keep these parts of lower computational costs but substitute those parts of higher computational costs by the limited-memory quasi-Newton update. More specically, the part related to Euclidean gradient and the cheaper parts in the Euclidean Hessian are preserved. The initial quasi-Newton matrix is further constructed from a limited-memory Nyström approximation to the expensive part. Consequently, our subproblems approximate the original objective function in the Euclidean space and preserve the orthogonality constraints without performing the so-called vector transports. When the subproblems are solved to sufficient accuracy, both global and local q-superlinear convergence can be established under mild conditions. Preliminary numerical experiments on the linear eigenvalue problem and the electronic structure calculation show the effectiveness of our method compared with the state-of-art algorithms.

研究の動機と目的

• 直交制約付き最適化における2次情報の計算コストの高さ、特にヘシアンの一部が著しく高価である場合にその問題を解決すること。
• リーマン多様体上の準ニュートン法で一般的に使用される高価なベクトル輸送操作を回避する手法を開発すること。
• 高価な部分を限られたメモリを用いた準ニュートン更新で近似しつつ、計算的に安価なヘシアンの部分を保持すること。
• 直交制約を保ちつつ、ユークリッド空間における目的関数の近似を用いることで収束を保証すること。
• 信頼領域に類似した戦略と修正されたCGソルバーを用いて、やや緩い条件下でもグローバル収束および局所的q-超線形収束を達成すること。

提案手法

• 安価な成分を保持し、高価な成分を限られたメモリを用いた準ニュートン更新で置き換えることで、ユークリッドヘシアンの近似を構築する。
• 高価なヘシアン成分の初期準ニュートン行列を、限られたメモリを用いたニストルム近似で構築する。
• ユークリッド空間における目的関数の正則化付き近似2次テイラー展開を用いて部分問題を定式化する。
• 正則化パラメータに対して信頼領域に類似した戦略を用いた修正された共役勾配法で部分問題を解く。
• リトラクションやベクトル輸送操作を必要とせず、ユークリッド空間上で直交制約を直接保持する。
• リーマンヘシアンの構造を活用して準ニュートン更新を構築しつつ、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 直交制約付き最適化のための準ニュートン法を設計できるか。その際、高価なベクトル輸送操作を回避できるか。
• RQ2 ヘシアンが安価な部分と著しく高価な部分に分かれる場合、効率的にヘシアンを近似できるか。
• RQ3 ヘシアン近似の計算コストを削減しつつ、グローバル収束および局所的q-超線形収束を維持できるか。
• RQ4 多様体へのリトラクションを必要とせず、ユークリッド空間上で目的関数の構造を保ったまま準ニュートン更新を構築できるか。
• RQ5 高価なヘシアン成分に対する限られたメモリを用いたニストルム近似が収束性および数値的性能に与える影響は何か。

主な発見

• 提案手法は、ヘシアンが部分的にしか利用できない状況でも、やや緩い条件下でグローバル収束および局所的q-超線形収束を達成する。
• 本手法は、環境ユークリッド空間上で直接計算することで、ベクトル輸送を回避し、計算オーバーヘッドを低減する。
• 線形固有値問題および電子構造計算に対する初期数値実験の結果、最先端のアルゴリズムと比較して性能が向上している。
• 限られたメモリを用いたニストルム近似は、高価なヘシアン成分の主要構造を効果的に捉えており、ストレージおよび計算量を削減している。
• 正則化パラメータに対する信頼領域に類似した戦略により、部分問題の解の精度が安定し、収束にとって極めて重要である。
• リトラクションやベクトル輸送を明示的に必要とせず、直交制約を正確に維持する。