[論文レビュー] SET: an algorithm for consistent matrix completion

Wei Dai, Olgica Milenković|arXiv (Cornell University)|Sep 15, 2009

Sparse and Compressive Sensing Techniques参考文献 9被引用数 11

ひとこと要約

本稿では、低ランク行列補完のための新しいアルゴリズムであるSET（Subspace Evolution and Transfer）を提案する。このアルゴリズムは、グラスマン多様体上の探索を用いて行列の列空間を最適化することで、一貫性のある低ランク行列補完を実現する。部分空間の進化にラインサーチを組み合わせるとともに、収束の障害となる「バリア」を検出し、それらを克服するための転送メカニズムを導入することで、特に非常に低ランクの行列において、既存の手法（SVT や OptSpace）を上回る優れた経験的性能を達成する。

ABSTRACT

A new algorithm, termed subspace evolution and transfer (SET), is proposed for solving the consistent matrix completion problem. In this setting, one is given a subset of the entries of a low-rank matrix, and asked to find one low-rank matrix consistent with the given observations. We show that this problem can be solved by searching for a column space that matches the observations. The corresponding algorithm consists of two parts -- subspace evolution and subspace transfer. In the evolution part, we use a line search procedure to refine the column space. However, line search is not guaranteed to converge, as there may exist barriers along the search path that prevent the algorithm from reaching a global optimum. To address this problem, in the transfer part, we design mechanisms to detect barriers and transfer the estimated column space from one side of the barrier to the another. The SET algorithm exhibits excellent empirical performance for very low-rank matrices.

研究の動機と目的

• 観測された要素と一致する唯一の低ランク行列を求める一貫性のある行列補完問題に取り組む。これは、複数の解が存在する場合でも成立する。
• 部分空間最適化における収束問題を克服する。これは、グローバル最適解に到達できないようにする「バリア」によって引き起こされる。
• 同時に行空間と列空間を最適化するのではなく、列空間のみを最適化することで、数値的および解析的な複雑さを回避する手法を開発すること。
• 解の一意性が保証されない高頻度のアンダーサンプリング条件下でも、低ランク行列補完の経験的性能を向上させること。
• 探索経路におけるバリアを検出し、それらを越えるための転送メカニズムを設計すること。

提案手法

• 行列補完を、観測された要素と整合する列空間の探索問題に定式化し、グラスマン多様体上の最適化問題に還元する。
• ラインサーチ手順を用いて、推定された列空間を観測された要素と一致する方向へ進化させる。
• ある列のラインサーチ関数の最大化点が、別の列の最小化点よりも前に出現する場合にバリアを検出する。このとき勾配は下降がブロックされていることを示す。
• 転送ステップでは、$ j^* $ と $ k^* $ を用いて定義される最も近い臨界バリアを特定し、部分空間をバリアの反対側に移動させる。
• 転送点を $ t_{st} = t_{o,k^*} $ として計算することで、局所的障害を回避しつつ、過剰なスイングを防ぐ。
• ラインサーチ関数 $ f_k(t) $ に対して閉形式解を用いてアルゴリズムを実装し、観測された要素と探索方向に依存する。

実験結果

リサーチクエスチョン

• RQ1 解の一意性が保証されない状況下でも、解の列空間のみを最適化することで、低ランク行列を一貫して補完できるか？
• RQ2 部分空間探索における「バリア」に起因する収束失敗を検出し、克服する方法は何か？
• RQ3 行空間または列空間のいずれかの部分空間のみを最適化することで、行と列の両方を同時に最適化する手法よりも優れた性能が得られるか？
• RQ4 バリアに注意を払った部分空間進化アルゴリズムの経験的性能は、核ノルム最小化や他の行列補完手法と比べてどうか？
• RQ5 サンプリングレートや行列ランクが変化する条件下で、特に性能が低下する臨界範囲において、アルゴリズムはどのように振る舞うか？

主な発見

• SETアルゴリズムは、特に高頻度のアンダーサンプリング条件下でも、低ランク行列の再構成において優れた経験的性能を示す。
• 部分空間転送ステップの導入により、ラインサーチのみで失敗する状況でも収束性と再構成精度が顕著に向上する。
• 再構成誤差と収束速度の両面で、SVT や OptSpace などの他の行列補完アルゴリズムを上回る性能を発揮する。
• 大多数の実現例において、500回未満の反復で収束するが、バリアが検出不能な場合に収束が遅延する。
• 性能が低下する臨界のサンプリングレート範囲が存在し、この範囲は行列ランクが高くなるにつれて右シフトする。
• 連続的なランク推定を可能にするため、ランクの不確実性に対してもロバストである。複数の整合的解が存在する場合でも、効果的に機能する。