[論文レビュー] Beyond Moore-Penrose Part I: Generalized Inverses that Minimize Matrix Norms

Ivan Dokmanić, Rémi Gribonval|arXiv (Cornell University)|Jun 26, 2017

Sparse and Compressive Sensing Techniques参考文献 27被引用数 16

ひとこと要約

本稿は、フロベニウスノルムを超える多様な行列ノルムを最小化する一般化逆行列の枠組みを導入し、ムーア・ペンローズ一般化逆行列（MPP）がユニタリに不変なノルムの広いクラスを最小化することを示している。スパース復元および逆問題において、混合ノルムや ℓ^p→ℓ^q ノルムを最小化する代替逆行列が優れた性能を示す条件を同定し、主な結果として、MPP が一意なノルム最小化逆行列であるのは特定の設定下で p=2 の場合に限ることを示している。

ABSTRACT

This is the first paper of a two-long series in which we study linear generalized inverses that minimize matrix norms. Such generalized inverses are famously represented by the Moore-Penrose pseudoinverse (MPP) which happens to minimize the Frobenius norm. Freeing up the degrees of freedom associated with Frobenius optimality enables us to promote other interesting properties. In this Part I, we look at the basic properties of norm-minimizing generalized inverses, especially in terms of uniqueness and relation to the MPP. We first show that the MPP minimizes many norms beyond those unitarily invariant, thus further bolstering its role as a robust choice in many situations. We then concentrate on some norms which are generally not minimized by the MPP, but whose minimization is relevant for linear inverse problems and sparse representations. In particular, we look at mixed norms and the induced $\ell^p ightarrow \ell^q$ norms. An interesting representative is the sparse pseudoinverse which we study in much more detail in Part II. Next, we shift attention from norms to matrices with interesting behaviors. We exhibit a class whose generalized inverse is always the MPP-even for norms that normally result in different inverses-and a class for which many generalized inverses coincide, but not with the MPP. Finally, we discuss efficient computation of norm-minimizing generalized inverses.

研究の動機と目的

• 一般化逆行列の理解をムーア・ペンローズ一般化逆行列にとどまらず、さまざまな行列ノルムを最小化するものへと拡張すること。
• 混合ノルムや ℓ^p→ℓ^q ノルムなどのノルムを最小化する非 MPP 逆行列が成立する条件を同定し、スパース表現に関連するものとする。
• MPP が一意なノルム最小化逆行列である行列クラスを特定するとともに、MPP でないにもかかわらず複数の逆行列が一致する場合を同定すること。
• ノルム最小化一般化逆行列の効率的計算の理論的基盤を確立すること。
• 第 II 部でスパース一般化逆行列を詳細に調査する基盤を構築すること。

提案手法

• 本稿は、任意の行列ノルムを最小化する一般化逆行列の一意性と構造を分析し、ユニタリに不変なノルムと非ユニタリに不変なノルムに焦点を当てる。
• 幾何学的および変分的議論を用いて、フロベニウスノルムを超えるノルムにおいてムーア・ペンローズ一般化逆行列がノルムを最小化する条件を導出する。
• スパース一般化逆行列を定義し、AX=I の制約の下でベクトル化された逆行列の ℓ^1 ノルムを最小化する一般化逆行列として研究する。
• MPP が特定の ℓ^p→ℓ^q ノルムを最小化しないことを示す、明示的な反例を構築し、異なる最適逆行列の存在を実証する。
• 凸性の議論や微分解析を含む解析的技法を用いて、特定の行列構成において、ノルム最小化の式が p=2 のみで消えることを証明する。
• 特にランク不足の設定において、ノルム最小化と射影行列の構造との関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 ムーア・ペンローズ一般化逆行列は、フロベニウスノルムを超えるどの行列ノルムを最小化する条件か？
• RQ2 ユニタリに不変でないノルムにおいて、ムーァ・ペンローズ一般化逆行列が最適でないのはどのようなノルムか？ その場合の一般化逆行列は何か？
• RQ3 ℓ^p→ℓ^q ノルムや混合ノルムを最小化する一般化逆行列は、効率的に計算可能であり、スパース復元においてより優れた性能を示すか？
• RQ4 ムーア・ペンローズ一般化逆行列が一意なノルム最小化逆行列である行列クラスと、MPP でないにもかかわらず複数の逆行列が一致する行列クラスは存在するか？
• RQ5 与えられた行列に対して、MPP が ℓ^p→ℓ^q ノルムを最小化する正確な条件は何か？ また、その条件が成立しないのはいつか？

主な発見

• ムーア・ペンローズ一般化逆行列は、ユニタリに不変なノルムの広いクラスを最小化し、行列逆行列の文脈で頑健な選択肢であることが再確認された。
• p≠2 の ℓ^p→ℓ^q ノルムでは、ムーオ・ペンローズ一般化逆行列は最小化者ではなく、そのノルムを最小化する代替逆行列が存在する。
• スパース一般化逆行列（AX=I の制約の下でベクトル化された逆行列の ℓ^1 ノルムを最小化する解）は、単純な部分行列逆行列とは異なり、良好に条件付けられ、スパースな逆行列をもたらすことが示された。
• MPP が非ユニタリに不変なノルムに対しても一意なノルム最小化逆行列である行列が存在する。
• 特定の 3×3 行列構成において、MPP が ℓ^p→ℓ^q ノルムの唯一の最小化者であるのは p=2 の場合に限り、p>2 または p<2 の場合にはそうではない。
• 構築された例において、ノルム最小化の式が p=2 のみで消えることを解析的に証明し、MPP がこの場合において p=2 のみで最適であることを確認した。