[論文レビュー] Solving Linear System of Equations Via A Convex Hull Algorithm

Bahman Kalantari|arXiv (Cornell University)|Oct 29, 2012

Advanced Optimization Algorithms Research参考文献 14被引用数 5

ひとこと要約

本稿では、三角法的アルゴリズムを用いて線形方程式系 $Ax = b$ を凸包属性テストに再定式化することで、2つの新しい反復的アルゴリズムを提案する。$\rho$-近似解に対して $O(n^2 \rho^{-2})$ の複雑度バウンドを達成し、従来の反復的および直接的手法とは異なり構造に依存しない新たな代替手法を提供する。理論的保証が強く、実用的スケーラビリティの可能性を有する。

ABSTRACT

We present new iterative algorithms for solving a square linear system $Ax=b$ in dimension $n$ by employing the {\it Triangle Algorithm} \cite{kal12}, a fully polynomial-time approximation scheme for testing if the convex hull of a finite set of points in a Euclidean space contains a given point. By converting $Ax=b$ into a convex hull problem and solving via the Triangle Algorithm, together with a {\it sensitivity theorem}, we compute in $O(n^2ε^{-2})$ arithmetic operations an approximate solution satisfying $\Vert Ax_ε- b \Vert \leq ερ$, where $ρ= \max \{\Vert a_1 \Vert,..., \Vert a_n \Vert, \Vert b \Vert \}$, and $a_i$ is the $i$-th column of $A$. In another approach we apply the Triangle Algorithm incrementally, solving a sequence of convex hull problems while repeatedly employing a {\it distance duality}. The simplicity and theoretical complexity bounds of the proposed algorithms, requiring no structural restrictions on the matrix $A$, suggest their potential practicality, offering alternatives to the existing exact and iterative methods, especially for large scale linear systems. The assessment of computational performance however is the subject of future experimentations.

研究の動機と目的

• 係数行列の構造的仮定を必要としない大規模線形方程式系を解くための新しい反復的手法を開発すること。
• 凸包属性のための完全多項式時間近似スキームである三角法的アルゴリズムを、線形方程式系の解法の核心的計算エンジンとして活用すること。
• $Ax = b$ の近似解に対する理論的複雑度バウンドを提供すること。$\rho = \max\{\|a_i\|, \|b\|\}$ を用いた明示的な誤差制御を含む。
• 幾何的アルゴリズムが数値線形代数において果たせる可能性を探索し、古典的反復的および直接的ソルバーの代替を提供すること。

提案手法

• 行列 $A$ の列ベクトルと $-b$ を用いて、線形方程式系 $Ax = b$ を高次元空間に埋め込み、凸包属性問題に再定式化する。
• 三角法的アルゴリズムを適用し、原点が変換された点集合の凸包に含まれるかをテストする。$\epsilon$-近似解は $O(n^2 \epsilon^{-2})$ の演算で計算される。
• 感度定理を用いて、近似解の誤差を $\rho$ の項でバウンドし、$\|Ax_\epsilon - b\| \leq \epsilon \rho$ を保証する。
• パラメータ $t$ を段階的に増加させる、三角法的アルゴリズムのインクリメンタル版を実装する。距離双対性と証拠検出を用いて収束をガイドする。
• 解のノルムの事前推定に依存せず、不可能性を検出する証拠ベース戦略を採用し、解の方向への探索経路をガイドする。
• 1つの変種では二次計画法を用いて解の経路を精緻化するが、インクリメンタル版は計算の単純性を考慮し、このような最適化を回避する。

実験結果

リサーチクエスチョン

• RQ1 凸包属性のための三角法的アルゴリズムを、線形方程式系の解法に効果的に再利用できるか？
• RQ2 この幾何的アプローチを用いた $Ax = b$ の解法における理論的複雑度は何か？また、古典的反復的手法と比べてどうか？
• RQ3 行列の条件数や構造的仮定を必要とせず、$\epsilon$-近似解を達成できるか？
• RQ4 インクリメンタル版アルゴリズムは、解のノルムの事前知識なしに収束を保証できるか？
• RQ5 距離双対性と証拠検出は、反復的探索プロセスをどのようにガイドするか？

主な発見

• 提案されたアルゴリズムは、$O(n^2 \epsilon^{-2})$ の算術演算で $Ax = b$ の $\epsilon$-近似解を計算でき、$\|Ax_\epsilon - b\| \leq \epsilon \rho$ を満たす。
• 本手法は行列 $A$ に構造的仮定を一切必要とせず、一般行列、密行列、スパース行列の両方に適用可能である。
• インクリメンタル版アルゴリズムは解のノルムの事前推定を回避し、$t$ を慎重に増加させることで、最終的な収束を保証する。
• アルゴリズムの性能は理論的複雑度でバウンドされており、最悪ケースのバウンドよりも実用的性能が優れている可能性を有する。
• 三角法的アルゴリズムの使用により、線形方程式系の解法に洗練された幾何的解釈が可能となり、線形代数と凸幾何学を結びつける。
• 本手法は並列化に適しており、既存の反復的ソルバーと組み合わせることでハイブリッドアルゴリズムの可能性を示唆する。