[論文レビュー] Mixture Matrix Completion

Daniel Pimentel-Alarcón|arXiv (Cornell University)|Aug 2, 2018

Remote-Sensing Image Classification被引用数 6

ひとこと要約

この論文は、データ行列の各要素が複数の低ランク行列のいずれかから抽出されるという新しい枠組み、Mixture Matrix Completion (MMC) を導入する。これは従来の低ランクおよび高ランク行列補完を一般化するものであり、識別可能性条件、標本複雑性、および実用的な交互アルゴリズムを含む理論的基盤を確立している。合成データおよび実世界のデータにおいて、最先端の性能を達成している。

ABSTRACT

Completing a data matrix X has become an ubiquitous problem in modern data science, with applications in recommender systems, computer vision, and networks inference, to name a few. One typical assumption is that X is low-rank. A more general model assumes that each column of X corresponds to one of several low-rank matrices. This paper generalizes these models to what we call mixture matrix completion (MMC): the case where each entry of X corresponds to one of several low-rank matrices. MMC is a more accurate model for recommender systems, and brings more flexibility to other completion and clustering problems. We make four fundamental contributions about this new model. First, we show that MMC is theoretically possible (well-posed). Second, we give its precise information-theoretic identifiability conditions. Third, we derive the sample complexity of MMC. Finally, we give a practical algorithm for MMC with performance comparable to the state-of-the-art for simpler related problems, both on synthetic and real data.

研究の動機と目的

• 従来の行列補完モデル、特に低ランク行列補完 (LRMC) や高ランク行列補完 (HRMC) の制限を克服するため、各要素が異なる低ランク部分空間に属することをモデル化することで、列全体ではなく要素単位で部分空間を割り当てる。
• ユーザーがアカウントを共有する場合や、複数の根本的構造（例えば、動画の前景／背景、混合された微生物DNAなど）から生じる現実世界のデータに対して、より正確な表現を提供する。
• MMC の理論的基盤を確立する。具体的には、適切な定式化、識別可能性、標本複雑性を、一貫性仮定なしの決定論的サンプリングの下で検証する。
• LRMC や HRMC といった単純な問題において、最先端の手法と同等の性能を達成できる、実用的でスケーラブルなアルゴリズムを開発する。
• MMC が推薦システム、ネットワーク推定、動画セグメンテーション、メタゲノム解析など多様な分野に応用可能であることを示す。

提案手法

• 観測行列 X の各要素が K 個の低ランク行列のいずれかに対応する新しいモデルを提案する。これにより、列全体ではなく要素単位での異種データ構造の細分化されたモデリングが可能になる。
• 情報理論的識別可能性条件を導出するための組合せ的解析を導入し、観測された要素から元の低ランク行列を一意に回復できる条件を特定する。
• MMC の標本複雑性を、高確率で O(K/d * max{r, log d}) として導出する。これは、混合行列の理論的コストが LRMC や HRMC に比べて無視できるほど小さいことを示している。
• 低ランク成分の推定と要素の適切な成分への割り当てを交互に繰り返す実用的な交互アルゴリズムを開発する。核ノルム最小化とスparserコーディングの原則を応用する。
• 一様でないサンプリングモデルを採用し、従来の研究で一般的な一貫性仮定を回避する。代わりに、識別可能性の根拠として決定論的サンプリングパターンに依存する。
• 合成データおよび動画セグメンテーション、メタゲノム、推薦システムからの実世界データセットを用いて手法を検証し、LRMC や HRMC の最先端手法と同等の性能を示している。

実験結果

リサーチクエスチョン

• RQ1 行列補完は、列単位や行列単位の割り当てを超えて、複数の低ランク成分に要素単位で割り当てる形に一般化可能か？
• RQ2 どのような決定論的サンプリング条件下で、K 個の低ランク行列の混合が一意に識別可能か？
• RQ3 MMC フレームワークにおいて、元の低ランク行列を成功裏に回復するために必要な標本複雑性はどの程度か？
• RQ4 LRMC や HRMC といった単純な行列補完問題において、最先端の手法と同等の性能を達成できる実用的アルゴリズムを設計可能か？
• RQ5 MMC は、動画セグメンテーションやメタゲノム解析といった実世界の応用において、既存のモデルをどのように上回るか？

主な発見

• MMC は一般的な条件下で理論的に適切に定式化されており、適切なサンプリングパターンのもとで、元の低ランク行列を一意に回復できる。
• 本論文は、MMC の明確な情報理論的識別可能性条件を確立し、LRMC や HRMC の先行研究を一般化する。また、LRMC や HRMC において識別可能であるとされるサンプリングでも、識別可能性が保証されない場合があることを示している。
• MMC の標本複雑性は、高確率で O(K/d * max{r, log d}) であり、HRMC の複雑性と一致する。K=1 の場合、これは LRMC の既知の標本複雑性 O(1/d * max{r, log d}) に還元される。
• 提案された MMC の交互アルゴリズムは、MMC がより複雑な問題であるにもかかわらず、LRMC や HRMC における最先端手法と同等の性能を達成している。
• 合成データおよび実データ（動画セグメンテーション、メタゲノムなど）に対する実験的評価により、MMC は構造的で非スパースな前景や混合された生物学的信号を含む状況で、標準的手法を上回ることを示している。
• 前景オブジェクトが相関的でスパースでない動画インpaintingや顔クラスタリング、複数の細菌種から由来するDNAリードを含むメタゲノム解析といった応用において、MMC は従来のアプローチよりもより正確なモデルを提供する。