[論文レビュー] Spectral Geometric Matrix Completion

Amit Boyarski, Sanketh Vedula+1 more|arXiv (Cornell University)|Nov 17, 2019

Sparse and Compressive Sensing Techniques参考文献 50被引用数 5

ひとこと要約

本論文は、勾配ベースのDMF最適化に明示的なスペクトル幾何的事前知識（例えば、グラフラプラシアン正則化）を統合する、深層行列因子分解（DMF）フレームワーク「Spectral Geometric Matrix Completion（SGMC）」を提案する。深層線形ネットワークの暗黙的な低ランク正則化と、明示的なグラフベースの滑らかさ制約を組み合わせることで、最小限のコード量で推薦システムおよびドラッグ-ターゲット相互作用ベンチマークにおいて最先端の性能を達成し、データが乏しい状況における幾何的インダクティブバイアスの有効性を示している。

ABSTRACT

Deep Matrix Factorization (DMF) is an emerging approach to the problem of matrix completion. Recent works have established that gradient descent applied to a DMF model induces an implicit regularization on the rank of the recovered matrix. In this work we interpret the DMF model through the lens of spectral geometry. This allows us to incorporate explicit regularization without breaking the DMF structure, thus enjoying the best of both worlds. In particular, we focus on matrix completion problems with underlying geometric or topological relations between the rows and/or columns. Such relations are prevalent in matrix completion problems that arise in many applications, such as recommender systems and drug-target interaction. Our contributions enable DMF models to exploit these relations, and make them competitive on real benchmarks, while exhibiting one of the first successful applications of deep linear networks.

研究の動機と目的

• 古典的な低ランク仮定が失敗するデータが乏しい状況において、行・列間の幾何的またはトポロジカル構造を組み込むことにより、行列補完を解決すること。
• 深層行列因子分解（DMF）に、グラフベースの滑らかさなど明示的な幾何的事前知識を統合するが、その暗黙的な低ランク正則化を損なわないようにすること。
• 単純な深層線形ネットワークに幾何的インダクティブバイアスを組み込むことで、推薦システムやドラッグ-ターゲット相互作用予測といった実世界の応用で、より複雑なモデルを凌駆できることを示すこと。
• 推薦データセットにおける補助情報が信頼性があるとされるという仮定に疑問を呈し、現在の手法がしばしばそれを効果的に活用できないことの理由を示すこと。

提案手法

• 行列補完を、行列Xが複数の線形層の積としてパrameter化される深層行列因子分解（DMF）問題として定式化する。
• 行および列のグラフ上での信号の高周波成分変動をペナルティとする、グラフラプラシアンに基づくスペクトル幾何正則化項を導入する。
• DMFパラメータに対する勾配降下法により最適化を実行し、特に深さNが増加するにつれて、強い低ランク正則化が暗黙的に誘発される。
• ユーザーとアイテム（またはドラッグとターゲット）の関係を表すために、積グラフ構造を用いる。行列を積グラフ上の信号とみなす。
• 正則化項はディリクレエネルギーとして定義される：∑(a,b)∈E ωa,b(x(a)−x(b))²。これはグラフ上の滑らかさを促進する。
• 自動微分を用いてエンドツーエンドに適用することで、幾何的事前知識をDMF目的関数に効率的に統合・訓練可能にする。

実験結果

リサーチクエスチョン

• RQ1 暗黙的な低ランク正則化を損なわず、明示的な幾何的事前知識を深層行列因子分解に効果的に統合できるか？
• RQ2 スペクトル幾何と勾配ベースのDMF最適化を組み合わせることで、データが乏しい状況における行列補完性能がどのように向上するか？
• RQ3 現在の推薦システムデータセットに、実際に利用可能な補助情報はどれほど含まれており、なぜ既存の手法がそれを効果的に活用できないのか？
• RQ4 幾何的インダクティブバイアスを備えた単純な深層線形ネットワークは、実世界の行列補完タスクでより複雑なモデルを凌駆できるか？

主な発見

• SGMCは、数行のコードしか使用しないにもかかわらず、実世界の推薦システムおよびドラッグ-ターゲット相互作用データセットにおいて、複数の複雑なベースラインを上回る性能を達成した。
• 深層線形ネットワークの暗黙的な低ランク正則化と、明示的なグラフラプラシアン正則化を組み合わせることで、最先端の結果を達成した。
• DMFにおける暗黙の正則化は、核ノルム最小化よりも強く、深さNが増加するにつれて顕著に強化される。
• 幾何的事前知識の統合は、古典的な低ランク回復定理が成立しないデータが乏しい状況において、性能向上を顕著にもたらした。
• 本研究では、標準的な推薦データセットにおける補助情報が、既存の手法によってしばしば不適切に利用されていることが明らかになった。これは、モデル設計とデータ活用のギャップを示唆している。