[論文レビュー] Shape-Changing L-SR1 Trust-Region Methods

Johannes J. Brust, Oleg Burdakov+3 more|arXiv (Cornell University)|Jul 12, 2016

Matrix Theory and Algorithms参考文献 18被引用数 5

ひとこと要約

本稿では、限界記憶対称ランク1更新を用いて信頼領域部分問題を効率的に解くために、形状変化する L-SR1 信頼領域法を提案する。2つの形状変化するノルムを活用することで、閉形式の部分問題と取り扱いやすい部分問題に問題を分解し、ハードケースでさえも高い精度の解を得る。また、グローバル最適性条件を満たしている。

ABSTRACT

In this article, we propose a method for solving the trust-region subproblem when a limited-memory symmetric rank-one matrix is used in place of the true Hessian matrix. The method takes advantage of two shape-changing norms to decompose the trust-region subproblem into two separate problems, one of which has a closed-form solution and the other one is easy to solve. Sufficient conditions for global solutions to both subproblems are given. The proposed solver makes use of the structure of limited-memory symmetric rank-one matrices to find solutions that satisfy these optimality conditions. Solutions to the trust-region subproblem are computed to high-accuracy even in the so-called "hard case".

研究の動機と目的

• 限界記憶対称ランク1（L-SR1）ヘッセ近似を用いる場合に、信頼領域部分問題を効率的に解く課題に対処すること。
• 標準的手法が失敗する「ハードケース」と呼ばれる状況でも、グローバル収束性と高い精度を維持する手法を開発すること。
• L-SR1 行列の構造を活用して、形状変化するノルムを用いて部分問題をより単純で解ける成分に分解すること。
• 分解から生じる2つの部分問題におけるグローバル最適性の十分条件を提供すること。
• 正確なヘッセ行列を必要とせず、大規模最適化におけるスケーラビリティを高めるために、信頼領域部分問題を高精度に解くこと。

提案手法

• 2つの形状変化するノルムを導入し、信頼領域部分問題を2つの独立した部分問題に変換する。
• L-SR1 行列の構造を活用することで、一方の部分問題を閉形式解を有する形に定式化する。
• 2番目の部分問題はノルム変換により簡略化され、効率的な数値解法に適している。
• 最適性理論から導かれた十分条件を用いて、両方の部分問題のグローバル解の妥当性を検証する。
• L-SR1 更新の低ランク構造を活用することで、計算効率を維持しながらも精度を保つ。
• グローバル最適性条件を満たすように、分解された問題を解くことで高精度な解を計算する。

実験結果

リサーチクエスチョン

• RQ1 限界記憶対称ランク1ヘッセ近似を用いる場合、信頼領域部分問題をどのように効率的に解くことができるか？
• RQ2 形状変化するノルムを用いて、閉形式解または容易に計算可能な解が得られる部分問題に信頼領域部分問題を分解できるか？
• RQ3 分解から生じる部分問題におけるグローバル最適性を保証する条件は何か？
• RQ4 標準的手法が失敗する「ハードケース」において、この手法はどのように性能を発揮するか？
• RQ5 L-SR1 行列の構造を活用することで、完全なヘッセ行列の計算を必要とせずに高精度な解を得られるか？

主な発見

• 本手法は信頼領域部分問題を2つの部分に効果的に分解し、そのうちの1つが閉形式解を有することにより、計算負荷を著しく低減する。
• 2番目の部分問題はノルム変換により簡略化され、標準的な最適化手法を用いて効率的に解ける。
• 両方の部分問題に対して、グローバル最適性の十分条件が導出され、かつ満たされているため、グローバル解への収束が保証される。
• 従来の手法がしばしば失敗したり、収束が遅くなるハードケースでさえも、高精度な解が得られる。
• L-SR1 行列の使用により、正確なヘッセ行列近似に必要な構造を維持するが、完全な行列の保存や因子分解を必要としない。
• L-SR1 更新の低ランクかつ対称構造を活用することで、テスト問題全体にわたり、強固で安定した性能を発揮する。