[論文レビュー] Uniqueness of Low-Rank Matrix Completion by Rigidity Theory

Amit Singer, Mihai Cucuringu|ArXiv.org|Feb 23, 2009

Sparse and Compressive Sensing Techniques参考文献 25被引用数 6

ひとこと要約

この論文は、構造的剛性理論にインspiredされたフレームワークを導入し、低ランク行列補完の一意性を特定する。補完行列を構築することで、剛性行列に類似した方法で、実際に行列を計算せずに、ランク-$d$補完の局所的および大域的一意性を効率的にテストする。これにより、観測された要素の集合から一意な補完が理論的に可能かどうかを迅速に評価できるランダム化アルゴリズムが得られる。

ABSTRACT

The problem of completing a low-rank matrix from a subset of its entries is often encountered in the analysis of incomplete data sets exhibiting an underlying factor model with applications in collaborative filtering, computer vision and control. Most recent work had been focused on constructing efficient algorithms for exact or approximate recovery of the missing matrix entries and proving lower bounds for the number of known entries that guarantee a successful recovery with high probability. A related problem from both the mathematical and algorithmic point of view is the distance geometry problem of realizing points in a Euclidean space from a given subset of their pairwise distances. Rigidity theory answers basic questions regarding the uniqueness of the realization satisfying a given partial set of distances. We observe that basic ideas and tools of rigidity theory can be adapted to determine uniqueness of low-rank matrix completion, where inner products play the role that distances play in rigidity theory. This observation leads to an efficient randomized algorithm for testing both local and global unique completion. Crucial to our analysis is a new matrix, which we call the completion matrix, that serves as the analogue of the rigidity matrix.

研究の動機と目的

• 低ランク行列がその要素の部分集合から一意に補完可能かどうかを特定すること。これは、データ回復や協調フィルタリングにおいて重要な問題である。
• 特に無限小剛性の概念を含む剛性理論のツールを、内積が距離の役割を果たす行列補完問題に適応すること。
• 行列の再構築を試みることなく、局所的および大域的一意性をテストする計算効率の高いランダム化アルゴリズムを開発すること。
• 補完行列を、剛性行列に類似したものとして導入し、補完の一意性に関するランクベースの解析を可能にすること。
• 特にランク1およびランク2行列に対して、一意な低ランク補完を許容する要因となる、組み合わせ的および幾何的要因の特定

提案手法

• 観測された要素から、剛性理論における剛性行列に類似した補完行列を構築する。この行列は、低ランク補完問題の幾何的制約を符号化する。
• 補完行列のランクが、無限小補完性を決定する。行列がフルランクの行を有する場合、補完は無限小的に一意である。
• ヘンドリクソンの手法に基づくランダム化アルゴリズムを用い、LSQRなどの反復解法を用いて補完行列の核空間をチェックすることで、局所的補完をテストする。
• 大域的一意性のためには、応力行列への拡張が行われ、ゴーラー、ヒリー、ターストンのグローバル剛性テストにインspiredされたランダム化アルゴリズムが用いられる。
• 行列の再構築を完全に回避し、補完行列のランクと核空間にのみ注目することで、スパarsityを活用して効率を高める。
• 数値実験により、ランク2の $n \times n$ 矩形行列に対して、観測エントリ密度 $\beta = m/n^2$ の関数として実行時間を測定した。

実験結果

リサーチクエスチョン

• RQ1 行列を再構築せずに、低ランク行列補完の一意性を特定できるか？
• RQ2 剛性理論のツール（特に剛性行列と応力行列）を、内積が距離の役割を果たす行列補完問題にどのように適応できるか？
• RQ3 観測されたエントリのどの組み合わせ的パターンが、ランク-$d$補完の局所的または大域的一意性を保証するか？
• RQ4 一意性テストの計算複雑性は、観測エントリ数および行列サイズにどのように依存するか？
• RQ5 補完行列のランクと補完の無限小的一意性の間にはどのような関係があるか？

主な発見

• 剛性行列に類似した補完行列は、そのランクを用いて、低ランク行列補完の一意性の無限小的テストを効率的に行うことを可能にする。
• 局所的補完用のランダム化アルゴリズムは、$10,133 \times 10,133$ の行列に対して、$\beta \approx \beta^*$ の場合、数秒で実行可能である。ここで $\beta^*$ は局所的補完可能性の閾値である。
• $n=10,133$ の場合、$2\beta^*$ では約18.2秒、$\beta^*$ では12秒の実行時間となり、観測エントリ数が増加するにつれて収束が速くなる傾向が示された。
• 非補完可能な行列は $0.75\beta^*$ で正しく同定され、LSQRが残差閾値に収束しない場合、実行時間が著しく増加した。
• 大域的補完テストは実行可能でスケーラブルであり、$n=10,133$ で $2\beta^*$ の場合、最大288秒の実行時間であった。これは、行列サイズに応じて良好にスケーリングされることを示している。
• 本手法は、先行研究[13, 14, 15]の理論的境界を確認し、ランダムな欠損パターンにおいて補完可能性の検出において正確であることを裏付けた。