[論文レビュー] Sparse pseudoinverses via LP and SDP relaxations of Moore-Penrose

Victor K. Fuentes, Marcia Fampa+1 more|arXiv (Cornell University)|Jun 22, 2016

Advanced Optimization Algorithms Research参考文献 10被引用数 11

ひとこと要約

本稿では、1-ノルム最小化と線形計画法（LP）および半正定値計画法（SDP）による凸緩和を用いて、ムーア・ペンローズ（M-P）性質を緩和することで、8つの新しい可解なスパース疑似逆行列定式化を提案する。この手法は、スパース性を促進しながらも、M-Pの主要な特性を保持し、凸最適化による効率的な計算を可能にするとともに、スパース性とM-P条件への適合性のトレードオフを提供する。

ABSTRACT

Pseudoinverses are ubiquitous tools for handling over- and under-determined systems of equations. For computational efficiency, sparse pseudoinverses are desirable. Recently, sparse left and right pseudoinverses were introduced, using 1-norm minimization and linear programming. We introduce several new sparse pseudoinverses by developing linear and semi-definite programming relaxations of the well-known Moore-Penrose properties.

研究の動機と目的

• ムーア・ペンローズ逆行列の望ましい性質を維持しつつ、スパース性による計算効率の向上を図る新しいスパース疑似逆行列定式化を開発すること。
• 大規模システムにおける密行列の疑似逆行列の計算非効率性を解消するため、1-ノルム最小化を用いてスパース性を促進すること。
• 従来のスパース左・右疑似逆行列に関する研究を拡張し、M-P条件の全セットに対する凸緩和を組み込むこと。
• スパース性（ℓ₁最小化による）とM-P性質への適合性のトレードオフを、キーパラメータを保持する凸緩和を用いて調査すること。
• 大規模および低ランク更新のシナリオに適した、スケーラブルなスパース疑似逆行列の計算を、LPおよびSDP定式化を通じて可能にすること。

提案手法

• 4つのムーア・ペンローズ条件（P1）AHA = A、（P2）HAH = H、（P3）(AH)' = AH、（P4）(HA)' = HA を緩和することで、スパース疑似逆行列を定式化する。
• スパース解を誘導するスパース性促進のためのHの1-ノルム最小化を用いる。
• 線形M-P条件（P1）、（P3）、（P4）に対して線形計画法（LP）緩和を適用し、非凸な2次条件（P2）に対しては凸化技術を用いて緩和する。
• 非凸な2次制約に対しては、凸性を保持しつつM-P性質を近似するため、半正定値計画法（SDP）緩和を用いる。
• 行列変数設定におけるM-P条件に由来する3次および2次項を扱うために、補助変数および行列緩和を導入する。
• SDP緩和の強化と近似品質の向上のため、論理的切断（disjunctive cuts）および多項式システム緩和（例：[9] からのもの）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ムーア・ペンローズ条件の凸緩和は、スパース性と元のM-P逆行列への適合性のバランスをとったスパース疑似逆行列を生成できるか？
• RQ2 異なるLPおよびSDP緩和スキームにおいて、ℓ₁最小化によるスパース性とM-P性質への適合性のトレードオフはどのように変化するか？
• RQ3 SDP緩和は、非凸なM-P条件（P2）を計算的実行可能性を保ちつつ効果的に近似できるか？
• RQ4 提案手法の疑似逆行列定式化は、標準的なスパース左/右疑似逆行列と比較して、解の品質およびスパース性の観点で優れているか？
• RQ5 提案された緩和は、低ランク更新やスパース逆行列および低ランク成分への行列分解を含む行列変数問題へ拡張可能か？

主な発見

• 提案されたLPおよびSDP緩和は、スパース性と正確性の制御されたトレードオフを実現しつつ、主要なM-P性質を満たすスパース疑似逆行列を効果的に生成した。
• 計算結果から、36×36の行列に対してSDPベースの緩和が、約95％のスパース性（0.95の要素がゼロ）を達成した一方で、M-P条件への高い適合性を維持した。
• 大規模な行列に対しては、残差AHA − Aの2ノルムにおける相対誤差が最大1.18に留まり、M-P条件（P1）への強い適合性を示した。
• 11,445個の要素を有する行列に対して、SDP緩和は89％のスパース性（0.89の要素がゼロ）を持つ疑似逆行列を生成し、大規模システムへのスケーラビリティを示した。
• 論理的切断およびより強いSDP緩和の適用により、非凸なM-P条件（P2）の近似が向上したが、計算負荷の増加とスパース性の低下を伴った。
• 予備的な結果から、新しい定式化は低ランク更新シナリオに適しており、Sherman-Morrison-Woodburyの拡張にインspiredされた効率的な更新アルゴリズムの導入が有望であると示唆された。