[論文レビュー] Collective Matrix Completion

Mokhtar Z. Alaya, Olga Klopp|arXiv (Cornell University)|Jul 24, 2018

Random Matrices and Applications被引用数 8

ひとこと要約

本稿は、連続的、バイナリ、カウントデータなど多様な異種行列（例：レーティング、レビュー、センサデータ）を対象として、適合度とノルムペナルティの和を最小化する、集合的行列補完フレームワークを提案する。指数分布族および一般のノイズモデルの下で高速な収束レートを確立し、理論的保証のもとで多様なデータソースにわたるロバストな低ランク推定を可能にする。

ABSTRACT

Matrix completion aims to reconstruct a data matrix based on observations of a small number of its entries. Usually in matrix completion a single matrix is considered, which can be, for example, a rating matrix in recommendation system. However, in practical situations, data is often obtained from multiple sources which results in a collection of matrices rather than a single one. In this work, we consider the problem of collective matrix completion with multiple and heterogeneous matrices, which can be count, binary, continuous, etc. We first investigate the setting where, for each source, the matrix entries are sampled from an exponential family distribution. Then, we relax the assumption of exponential family distribution for the noise and we investigate the distribution-free case. In this setting, we do not assume any specific model for the observations. The estimation procedures are based on minimizing the sum of a goodness-of-fit term and the nuclear norm penalization of the whole collective matrix. We prove that the proposed estimators achieve fast rates of convergence under the two considered settings and we corroborate our results with numerical experiments.

研究の動機と目的

• 異なるソース（例：レーティング、レビュー、センサデータなど）からの複数の異種行列における集合的行列補完を扱う。
• 共通の低ランク構造を共有する複数の行列を統合的にモデル化する統一された推定フレームワークを開発する。
• 指数分布族および非パラメトリックなノイズ仮定の下での理論的収束レートを確立する。
• 関連する他のソースからの補助データを活用することで、コールドスタート状況における予測性能を向上させる。
• 単一行列設定を超えた、マルチソース・マルチタイプのデータに一般化された、従来の行列補完手法の拡張を実現する。

提案手法

• すべての行列における損失項の和と低ランクペナルティを最小化する核ノルム正則化最適化問題として集合的行列補完を定式化する。
• 最初の設定では、エントリ単位の尤度に基づく指数分布族に基づく一般化損失関数を用いる。
• 2番目の設定では、指数分布族の仮定を緩和し、パrametricな仮定なしに任意のノイズモデルを許容する。
• 計算可能性と低ランク回復を保証するため、核ノルム最小化による凸緩和を適用する。
• 推定誤差の高確率バインドを導出するために、劣指数的尾部解析と集中不等式を用いる。
• 確率的行列理論および劣指数的確率変数の性質のツールを用いて、理論的収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック（指数分布族）および非パラメトリック（一般ノイズ）モデルの両方の下で、統一フレームワークが集合的行列補完において高速な収束レートを達成できるか？
• RQ2 複数の異種行列間での共同推定は、独立した行列補完と比較して、予測精度をどのように向上させるか？
• RQ3 行列が異なる分布からサンプリングされた場合に、低ランク回復のための理論的保証はどの程度得られるか？
• RQ4 行列間で共有される低ランク構造は、レコメンダーシステムにおけるコールドスタート問題をどの程度軽減できるか？
• RQ5 行列エントリの劣指数的尾部特性は、集合的推定器の収束レートにどのように影響するか？

主な発見

• 提案された集合的行列補完推定器は、指数分布族仮定の下で高速な収束レートを達成し、誤差バインドが $ O(\sqrt{\rho \gamma / n}) $ のスケーリングを示す。ここで $ \rho $ はランク、$ n $ は観測エントリ数である。
• 非パラメトリックなノイズモデルの下でも、推定器は依然として高速な収束レートを達成し、特定のパラメトリック分布を仮定しないでロバスト性を示す。
• 理論的分析により、共通の低ランク構造を活用することで、複数の行列間での共同推定が推定精度を向上させることを確認した。
• 行列エントリの劣指数的尾部特性が厳密に特徴付けられ、収束レートを導出する上で不可欠な集中不等式の導出を可能にした。
• 数値実験により理論的結果が裏付けられ、合成データおよび実世界データにおいて、単一行列ベースラインと比較して性能が向上していることが示された。
• 核ノルムペナルティは低ランク構造を効果的に促進し、高次元かつ不完全なデータにおいても安定な回復を可能にした。