[論文レビュー] Information-Guided Sampling for Low-Rank Matrix Completion

Simon Mak, Henry Shaowu Yushi+1 more|arXiv (Cornell University)|Jun 25, 2017

Sparse and Compressive Sensing Techniques参考文献 64被引用数 4

ひとこと要約

本稿では、低ランク行列補完のための情報理論的サンプリング枠組みMaxEntを提案する。この枠組みは、ベイジアン部分空間学習による不確実性評価を用いて、初期および逐次的なエントリ選択をガイドする。特異行列-variate正規分布モデル下で観測エントリのエントロピーを最大化することで、特に高コherenの構造を持つ逐次的設定において、一様ランダムサンプリングよりも優れた回復精度を達成する。

ABSTRACT

The noisy matrix completion problem, which aims to recover a low-rank matrix $\mathbf{X}$ from a partial, noisy observation of its entries, arises in many statistical, machine learning, and engineering applications. In this paper, we present a new, information-theoretic approach for active sampling (or designing) of matrix entries for noisy matrix completion, based on the maximum entropy design principle. One novelty of our method is that it implicitly makes use of uncertainty quantification (UQ) -- a measure of uncertainty for unobserved matrix entries -- to guide the active sampling procedure. The proposed framework reveals several novel insights on the role of compressive sensing (e.g., coherence) and coding design (e.g., Latin squares) on the sampling performance and UQ for noisy matrix completion. Using such insights, we develop an efficient posterior sampler for UQ, which is then used to guide a closed-form sampling scheme for matrix entries. Finally, we illustrate the effectiveness of this integrated sampling / UQ methodology in simulation studies and two applications to collaborative filtering.

研究の動機と目的

• ノイズを含む低ランク行列補完における一様ランダムサンプリングの限界を克服するため、原理的で情報理論的基盤に立つサンプリング戦略の開発。
• 未観測エントリの不確実性評価（UQ）をサンプリングプロセスに統合し、行列回復精度の向上を図る。
• 情報理論的視点から、コヒーレンスとコーディング設計が行列補完のサンプリングに果たす役割に関する新たな知見を明らかにする。
• 学習された部分空間構造に適応可能なスケーラブルで逐次的なサンプリングアルゴリズムの開発。

提案手法

• 投影行列とノイズ分散に対する非情報的事前分布を用いた特異行列-variate正規分布（SMG）モデルを用いて、行列補完問題を定式化する。
• Shewry & Wynn（1987）の最大エントロピーサンプリング原理を適用し、相互情報量最大化問題を観測エントリのエントロピー最大化問題に双対化する。
• 現在の行および列部分空間の事後推定に基づき、次にサンプリングするエントリを選択する閉形式の獲得関数（式8）を導出する。
• 射影行列の事後平均推定値 $\hat{\mathcal{P}}_{\mathcal{U}}$ および $\hat{\mathcal{P}}_{\mathcal{V}}$ を用いて、エントロピーに基づくサンプリング基準を計算する。
• コヒーレンススクリーニングやバッチ逐次サンプリングなどの計算ヒューリスティクスを用いて、高次元行列（例：$60 \times 60$）へのスケーリングを実現する。
• ベイジアン部分空間学習とアクティブサンプリングを統合し、適応的で情報最大化型のエントリ選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 未観測エントリの不確実性評価を、ノイズを含む低ランク行列補完における最適なサンプリングをガイドするためにどのように活用できるか。
• RQ2 コヒーレンスとコーディング設計が行列補完のサンプリング効率に与える影響は何か。また、情報理論的視点からそれらを定量的に分析する方法は何か。
• RQ3 最大エントロピーサンプリング枠組みは、初期および逐次的行列エントリ選択において、一様ランダムサンプリングを上回る性能を示せるか。
• RQ4 ベイジアン部分空間学習と情報理論的サンプリングを統合することで、逐次的観測における回復精度がどのように向上するか。

主な発見

• 真のランク $R=3$ および $R=4$ の場合にそれぞれ $30 \times 30$ および $60 \times 60$ のシミュレーテッド行列において、MaxEntは一様サンプリングよりも低い平均フロベニウスノルム誤差を達成する。
• MaxEntの性能向上は、逐次的サンプリングにおいて顕著に増大し、観測の終盤に近づくと、一様サンプリングの平均誤差がMaxEntの75パーセンタイル誤差を上回る。
• Jesterデータセット（500人のユーザー、100のジョーク）において、MaxEntは一様サンプリングよりも初期誤差が低く、バランスの取れた初期設計の有効性を示している。
• MovieLensデータセット（300人のユーザー、1,700本の映画）において、MaxEntと一様サンプリングの性能差は、特に高コヒーレンス構造の影響により、逐次的サンプリングにおいて顕著に拡大する。
• コヒーレンススクリーニングとバッチ逐次ヒューリスティクスの使用により、MaxEntは次元が数千に達する行列に対しても効率的にスケーリング可能である。
• このフレームワークにより、高コヒーレンスエントリ（例：過剰に批判的なユーザー、非常に高い評価を得るアイテム）が、部分空間学習とエントロピー最大化を用いて体系的に同定・優先順位付け可能であることが明らかになった。