[論文レビュー] Interior-point algorithms for convex optimization based on primal-dual metrics

Tor G. J. Myklebust, Levent Tunçel|arXiv (Cornell University)|Nov 8, 2014

Advanced Optimization Algorithms Research参考文献 39被引用数 6

ひとこと要約

本稿は、対数的同調的自己調和バリア関数のヘッセ行列の線積分に基づく変動メトリックを用いた、凸最適化のための新しい原双対内点法を提案する。一般の凸錐に対して、$ O(\theta^{1/2} \tan^{-1}(1/\theta)) $ の最良既知の反復複雑度を達成し、対称錐プログラミングと同一の複雑度を有し、リーマン幾何学およびガウス求積法との関連を確立することで、効率的な計算が可能になる。

ABSTRACT

We propose and analyse primal-dual interior-point algorithms for convex optimization problems in conic form. The families of algorithms we analyse are so-called short-step algorithms and they match the current best iteration complexity bounds for primal-dual symmetric interior-point algorithm of Nesterov and Todd, for symmetric cone programming problems with given self-scaled barriers. Our results apply to any self-concordant barrier for any convex cone. We also prove that certain specializations of our algorithms to hyperbolic cone programming problems (which lie strictly between symmetric cone programming and general convex optimization problems in terms of generality) can take advantage of the favourable special structure of hyperbolic barriers. We make new connections to Riemannian geometry, integrals over operator spaces, Gaussian quadrature, and strengthen the connection of our algorithms to quasi-Newton updates and hence first-order methods in general.

研究の動機と目的

• 一般の凸最適化問題（任意の凸錐を含む）に対して、対称錐プログラミングの結果を拡張した原双対内点法を開発すること。
• 対数的同調的自己調和バリア関数（LHSCB）のヘッセ行列の線積分に基づく新しい原双対スケーリング写像を導入し、可変メトリックフレームワークを実現すること。
• 提案されたアルゴリズムが、$ O(\theta^{1/2} \tan^{-1}(1/\theta)) $ の最良既知の最悪ケース反復複雑度を達成することを証明すること。これは、対称錐プログラミングの最先端水準に一致する。
• 内点法、リーマン幾何学、作用素積分、ガウス求積則の間の新しい数学的関係を確立すること。
• 特に双曲的バリア関数に対して、ガウス求積法を用いた新しいスケーリング写像の効率的近似スキームを設計し、誤差が有界であることを示すこと。

提案手法

• アルゴリズムは、対数的同調的自己調和バリア関数（LHSCB）のヘッセ行列によって定義される原双対可変メトリックからのニュートン方向に基づく予測子・修正子スキームを用いる。
• 原双対スケーリング写像は、現在の反復点から中心路に沿った経路に沿ったヘッセ行列の線積分として定義され、局所的な曲率に応じて適応するリーマンメトリックを形成する。
• 積分スケーリング写像の近似に低ランク更新を用い、自己調和性および作用素ノルムの制御に基づく誤差バウンドを導出する。
• 双曲的バリア関数に対しては、ガウス求積則（例：ガウス＝レジェンドル）を用いて積分スケーリング写像を近似し、誤差バウンドが求積の次数および探索方向のノルムに依存することを示す。
• 自己調和バリア関数の仮定の下でアルゴリズムを分析し、ディキン楕円体の包含性やヘッセ行列のリプシッツ連続性といった性質を活用する。
• 新しいメトリックが準ニュートン更新および一次の最適化法とどのように関連するかを分析し、内点法と準ニュートンフレームワークとの間の関係を強化する。

実験結果

リサーチクエスチョン

• RQ1 一般の凸錐に対する原双対内点法は、自己調和バリア関数のみを用いて、対称錐プログラミングと同等の反復複雑度を達成できるか？
• RQ2 バリア関数のヘッセ行列に基づく可変メトリックは、どのように構築され、内点法に効率的に適用できるか？
• RQ3 積分に基づく原双対スケーリング写像を計算するためにガウス求積法を用いる際の近似誤差は何か？ そして、収束性にどのように影響するか？
• RQ4 新しいスケーリング写像およびメトリックは、凸最適化の文脈においてリーマン幾何学および作用素論とどのように関連するか？
• RQ5 初期近似が中心路に十分近い場合、積分スケーリング写像に対する低ランク更新は収束性および反復複雑度を保持できるか？

主な発見

• 提案された予測子・修正子アルゴリズムは、$ O(\theta^{1/2} \tan^{-1}(1/\theta)) $ の反復複雑度を達成し、これは対称錐プログラミングの最良既知の境界と一致する。ここで $ \theta $ はバリアパラメータである。
• ヘッセ行列の線積分として定義される新しい原双対スケーリング写像は、可変メトリックを提供し、ディキン楕円体を一般化するとともに、リーマン幾何学との関係を強化する。
• 双曲的バリア関数に対しては、ガウス＝レジェンドル求積法を用いて積分スケーリング写像を近似でき、誤差バウンドは $ \frac{1}{(1 - \norm{\nabla_P}_{x})^2} \norm{\nabla_P}_{x}^{2k} $ の形をとる。ここで $ k $ は求積の次数である。
• 中心路に近い場合には、積分スケーリング写像に対する低ランク更新が、初期近似が十分に正確であれば、ノルムが小さく保たれる。
• 本稿では、共役バリアが、原始バリアのオракルを用いて計算可能であり、不実行開始または自己双対埋め込み法においても最悪ケース反復複雑度が劣化しないことを示した。
• 解析により、新しいメトリックと準ニュートン更新との深い関係が明らかになった。これは、内点法が曲率に基づくステップをとる適応的準ニュートン法として解釈可能であることを示唆している。