[論文レビュー] Galerkin Methods for Complementarity Problems and Variational Inequalities

Geoffrey J. Gordon|arXiv (Cornell University)|Jun 20, 2013

Advanced Optimization Algorithms Research参考文献 1被引用数 3

ひとこと要約

この論文は、補完性問題と変分不等式を解くための新しいガレルキン法を提案する。ベルツェカスの手法を改善し、誤差境界が真の解から基底部分空間までの距離に直接依存するように保証するとともに、実行可能集合と基底空間への射影のみを必要とすることで、機械学習、ゲーム理論、物理シミュレーションにおける大規模問題の効率的かつスケーラブルな解法を可能にする。

ABSTRACT

Complementarity problems and variational inequalities arise in a wide variety of areas, including machine learning, planning, game theory, and physical simulation. In all of these areas, to handle large-scale problem instances, we need fast approximate solution methods. One promising idea is Galerkin approximation, in which we search for the best answer within the span of a given set of basis functions. Bertsekas proposed one possible Galerkin method for variational inequalities. However, this method can exhibit two problems in practice: its approximation error is worse than might be expected based on the ability of the basis to represent the desired solution, and each iteration requires a projection step that is not always easy to implement efficiently. So, in this paper, we present a new Galerkin method with improved behavior: our new error bounds depend directly on the distance from the true solution to the subspace spanned by our basis, and the only projections we require are onto the feasible region or onto the span of our basis.

研究の動機と目的

• 変分不等式における既存のガレルキン法の限界、特に不良な誤差境界と計算コストの高い射影ステップを解決する。
• 真の解から基底部分空間までの距離に直接関連付けることで、近似精度を向上させる手法を開発する。
• 中間の射影を回避し、実行可能集合と基底空間への射影のみに制限することで、計算のオーバーヘッドを低減する。
• 効率的な線形補完性問題（LCP）ソルバを用いて、機械学習、計画、物理シミュレーションにおける大規模補完性問題のスケーラブルな解法を実現する。
• 構造的行列性質を有する射影的LCP定式化を通じて、理論的収束保証と実用的効率性を確立する。

提案手法

• 実行可能集合 $C$ と基底関数の空間 $\Phi$ への二つの射影を含む固定点定式化を提案する。
• ガレルキン近似を次のように定義する：$x = \Pi_C(z)$ および $z = \Pi_\Phi((I - \alpha F)(x))$、ここで $\alpha$ はステップサイズである。
• 近似解 $\bar{x}$ が常に実行可能（$\bar{x} \in C$）であり、残差条件 $-F(\bar{x}) + \epsilon \in N_C(\bar{x})$ を満たす（$\epsilon \in \text{null}(\Phi^\top)$）。
• ガレルキン固定点系を $\text{CP}(Nx + r, K)$ の形の線形補完性問題（LCP）に変換する。ここで $N = I - \Pi_\Phi + \alpha \Pi_\Phi M$ および $r = \alpha \Pi_\Phi q$ である。
• $N$ の射影的構造を活用し、統合内点法（UIP）の計算コストを削減し、$k \ll n$ のとき $O(nk^2)$ の反復コストを達成する。
• 行列 $M$ が正定値であれば、$N$ も正定値であることを証明し、LCPソルバの強い単調性と多項式時間収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 真の解から基底関数が張る部分空間までの距離に直接依存する誤差境界を達成できるように、変分不等式のためのガレルキン法を設計できるか？
• RQ2 中間の射影を回避し、実行可能集合と基底空間への射影のみに制限することで、既存のガレルキン法の射影複雑性を低減できるか？
• RQ3 ガレルキン固定点系を射影的LCPに変換しても収束性が保たれ、特殊化された内点法による高速解法が可能になるか？
• RQ4 基底次元 $k$ が問題次元 $n$ よりもはるかに小さい場合、得られるLCPを効率的に解けるか？
• RQ5 特に正定値性などの行列性質の観点から、変換されたLCPが適切に定義され、収束するための条件は何か？

主な発見

• 提案されたガレルキン法は、真の解から基底関数が張る部分空間までの距離に直接依存する誤差境界を達成し、従来の手法を改善する。
• この手法は、実行可能集合 $C$ と基底空間 $\Phi$ への射影のみを必要とし、複雑な中間射影を排除する。
• 固定点解 $\bar{x}$ は常に実行可能（$\bar{x} \in C$）であり、$\epsilon \in \text{null}(\Phi^\top)$ を含む残差条件を満たすため、近似的最適性が保証される。
• ガレルキン系は線形補完性問題 $\text{CP}(Nx + r, K)$ に再定式化され、$M$ が正定値であれば $N$ は元の行列 $M$ の強い単調性を引き継ぐ。
• 行列 $N$ は射影的であるため、$O(nk^2)$ の反復コストで効率的な統合内点法（UIP）が利用可能であり、$k \ll n$ のとき特に有効である。
• 単調性が保たれる限り、UIP法の反復回数は多項式的であり、大規模問題におけるスケーラブルな収束が保証される。