[論文レビュー] Quasi-Newton approaches to Interior Point Methods for quadratic problems

Jacek Gondzio, F. N. C. Sobral|arXiv (Cornell University)|Jun 26, 2018

Matrix Theory and Algorithms被引用数 3

ひとこと要約

本稿では、KKTシステムのヤコビ行列をランク1のセカント更新を用いて近似することで、高価な因子分解を避ける quasi-Newton アプローチを、二次計画問題に対する内点法（IPMs）に提案する。この手法により因子分解回数が削減され、特に因子分解コストが支配的である場合に有効で、二次割り当て問題においては計算効率が向上することを示している。

ABSTRACT

Interior Point Methods (IPM) rely on the Newton method for solving systems of nonlinear equations. Solving the linear systems which arise from this approach is the most computationally expensive task of an interior point iteration. If, due to problem's inner structure, there are special techniques for efficiently solving linear systems, IPMs enjoy fast convergence and are able to solve large scale optimization problems. It is tempting to try to replace the Newton method by quasi-Newton methods. Quasi-Newton approaches to IPMs either are built to approximate the Lagrangian function for nonlinear programming problems or provide an inexpensive preconditioner. In this work we study the impact of using quasi-Newton methods applied directly to the nonlinear system of equations for general quadratic programming problems. The cost of each iteration can be compared to the cost of computing correctors in a usual interior point iteration. Numerical experiments show that the new approach is able to reduce the overall number of matrix factorizations and is suitable for a matrix-free implementation.

研究の動機と目的

• 大規模な二次計画問題における内点法（IPMs）の行列因子分解の高コストを軽減すること。
• ニュートン法に基づく線形解法を quasi-Newton 更新に置き換えることで、高価な因子分解回数を削減すること。
• 行列を直接扱わず、元の KKT システムのスパarsity と構造を保った quasi-Newton 法を開発すること。
• 低ランクのヤコビ行列近似が、因子分解回数と CPU 時間の観点で、標準的な予測子・修正子 IPM ステップを同等または上回る性能を示すかどうかを調査すること。

提案手法

• 関数評価に基づく Broyden 法を想起して、KKT システムのヤコビ行列 $ J(x, \nu, z) $ をランク1のセカント更新で近似する。
• 各反復で関数評価を複数回行う必要を避け、最新の反復のみを用いてヤコビ行列近似を更新する。
• 元の KKT 行列のスパarsity とブロック構造を保持することで、計算効率を維持する。
• quasi-Newton 系の解法を IPM フレームワークに統合し、標準的な修正子ステップを quasi-Newton 更新に置き換える。計算コストは標準 IPM の1回分の修正子ステップと同等である。
• Broyden の「悪い」更新を用いて、HOPDM ソルバーの修正版として実装し、行列構造を維持するように適応する。
• 一度の因子分解の後、バックソルブにより線形系を解き、繰り返しの因子分解を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ランク1の更新に基づく quasi-Newton アプローチは、収束性に影響を与えることなく、二次計画問題の IPMs における行列因子分解回数を削減できるか？
• RQ2 関数評価に基づく KKT システムのヤコビ行列近似は、因子分解コストが支配的である場合に、全体の解法時間を短縮できるか？
• RQ3 低ランク quasi-Newton 近似は、元の KKT 行列の構造的性質をどの程度保っているか？
• RQ4 どのような問題クラスにおいて、quasi-Newton IPM が標準的な予測子・修正子 IPM よりも CPU 時間と因子分解回数の観点で優れているか？
• RQ5 繰り返しの因子分解を避けるために、行列フリーな形でこの手法を効果的に実装できるか？

主な発見

• 提案された quasi-Newton IPM は、標準的な IPM 実装と比較して、ほとんどのテスト問題において行列因子分解回数を削減した。
• QAP テストセットでは、因子分解回数の削減が一貫して CPU 時間の短縮に結びついた。これは、因子分解コストが高い場合に本手法が効率的であることを示している。
• 因子分解回数を著しく減らした一方で、標準 IPM と同等の性能を達成した。特に因子分解が実行時間の大部分を占める問題で顕著な利点を示した。
• Broyden を用いた更新により、元の KKT 行列のスパarsity とブロック構造が保持され、効率的なバックソルブが可能になった。
• quasi-Newton 系の解法に要する計算コストは、標準 IPM の1回分の修正子ステップと同等であった。
• 特に因子分解コストがバックソルブコストに対して高い問題、例えば大規模な二次割り当て問題において、本手法は特に有望であることが示された。