[論文レビュー] The Method of Pairwise Variations with Tolerances for Linearly Constrained Optimization Problems

I. V. Konnov|arXiv (Cornell University)|Jan 11, 2017

Optimization and Variational Analysis参考文献 12被引用数 6

ひとこと要約

本稿では、多面体の実行可能集合を有する滑らかで線形制約付き最適化問題に対する、新しい勾配降下法である「許容誤差を伴うペアワイズ変動法」（PVM）を提案する。条件付き勾配法の改良版として、極点間の選択的ペアワイズステップと動的許容誤差制御を用いることで、収束速度を向上させるとともに計算コストを低減し、スパarsityを維持する。特に大規模問題に対して顕著な効果を示し、収束性が保証され、数値実験でも優れた性能を発揮する。

ABSTRACT

We consider a method of pairwise variations for smooth optimization problems, which involve polyhedral constraints. It consists in making steps with respect to the difference of two selected extreme points of the feasible set together with special threshold control and tolerances whose values reduce sequentially. The method is simpler and more flexible than the well-known conditional gradient method, but keeps its useful sparsity properties and is very suitable for large dimensional optimization problems. We establish its convergence under rather mild assumptions. Efficiency of the method is confirmed by its convergence rates and results of computational experiments.

研究の動機と目的

• 滑らかな最適化問題に対して、古典的条件付き勾配法の代替手段として、より柔軟で効率的な手法を開発すること。
• 条件付き勾配法が持つスパarsity促進特性を維持しつつ、計算コストを低減すること。
• 緩い仮定のもとでグローバル収束を確立し、新たな許容誤差に基づくステップサイズ戦略により収束速度を向上させること。
• 二次的および凸的コスト関数に対する包括的な計算実験を通じて、本手法の効率性と頑健性を示すこと。

提案手法

• 標準の条件付き勾配法が単一の降下方向に依存するのに対し、本手法は実行可能集合の極点のペアを選択し、それらの差分を用いて降下方向を生成する。
• 許容誤差パラメータに基づき、反復ごとに動的にステップサイズを調整するしきい値制御メカニズムを採用する。この許容誤差は反復を経て段階的に小さくされ、収束を保証する。
• 各反復で、降下方向を求めるための線形部分問題を解き、その後バックトラッキング戦略を用いたラインサーチにより最適ステップサイズを決定する。
• 解の更新を極点の凸結合によって行うことで、スパarsityを維持する。これにより、各ステップで非ゼロ成分が少数にとどまる。
• 主な革新点は、許容誤差を伴うペアワイズ変動の導入であり、これにより方向選択の柔軟性が向上し、高価な部分問題の解法回数が削減される。
• 滑らかさと実行可能集合の多面体的構造という緩い仮定のもとで収束が確立される。

実験結果

リサーチクエスチョン

• RQ1 適応的許容誤差を伴うペアワイズ変動アプローチは、収束速度と計算効率の面で古典的条件付き勾配法を上回ることができるか？
• RQ2 提案手法は、大規模最適化問題において収束速度を向上させつつも、反復のスパarsityを維持できるか？
• RQ3 減少する許容誤差を伴うしきい値制御メカニズムは、アルゴリズム全体の収束行動と安定性にどのように影響するか？
• RQ4 目的関数の勾配がリプシッツ連続である場合、本手法の複雑度上限はどのようになるか？
• RQ5 離間ステップやペアワイズステップを用いる他の条件付き勾配法の変種と比較して、実用的な数値的性能はどのように異なるか？

主な発見

• 許容誤差を伴うペアワイズ変動法（PVM）は、滑らかさと多面体的制約という緩い仮定のもとで、静止点へのグローバル収束を達成する。
• 勾配がリプシッツ連続である問題に対して、PVMはε-最適解に到達するまでにO(1/ε)回の反復で収束し、条件付き勾配法の変種における最良の既知のレートと一致する。
• 計算実験では、PVMは標準的条件付き勾配法（CGM）を顕著に上回り、全テスト問題サイズ（m = 5から100）において反復回数と総関数評価回数の両方を削減した。
• 平均して、PVMはCGMに比べて関数評価回数を40–60%、ペアワイズ降下法（MDM）に比べて20–40%削減した。特にm ≥ 10の場合に顕著であった。
• 二次的および凸的コスト関数の両方において、PVMは安定的かつ高速な収束を示し、許容誤差パラメータを小さくするに従い収束速度が向上した。
• 大規模問題（m = 100）では、PVMは関数評価回数が267–307回（初期点やコスト関数に依存）にとどまり、CGMはいくつかのケースで500反復以内に収束しなかった。