[論文レビュー] Extendable Neural Matrix Completion

Duc Minh Nguyen, Evaggelia Tsiligianni+1 more|arXiv (Cornell University)|May 13, 2018

Image and Signal Denoising Methods参考文献 17被引用数 4

ひとこと要約

本稿では、再訓練を伴わずに未学習のユーザーまたはアイテムに拡張可能な、行列補完のための2本の分岐を持つ深層ニューラルネットワークモデル、Neural Matrix Completion (NMC) を提案する。因子分解に基づくアーキテクチャと畳み込みサマリゼーション層を用いて共同潜在表現を学習することで、ML-1M や Netflix などのベンチマークデータセットにおいて、最先端の精度と高い拡張性を達成した。

ABSTRACT

Matrix completion is one of the key problems in signal processing and machine learning, with applications ranging from image pro- cessing and data gathering to classification and recommender sys- tems. Recently, deep neural networks have been proposed as la- tent factor models for matrix completion and have achieved state- of-the-art performance. Nevertheless, a major problem with existing neural-network-based models is their limited capabilities to extend to samples unavailable at the training stage. In this paper, we propose a deep two-branch neural network model for matrix completion. The proposed model not only inherits the predictive power of neural net- works, but is also capable of extending to partially observed samples outside the training set, without the need of retraining or fine-tuning. Experimental studies on popular movie rating datasets prove the ef- fectiveness of our model compared to the state of the art, in terms of both accuracy and extendability.

研究の動機と目的

• 再訓練なしで新しいユーザーまたはアイテムに一般化できない既存のニューラル行列補完モデルの限界を解消すること。
• 再訓練なしに効率的な推論が可能な高精度な手法を開発すること。
• 極度にスパースで大規模な高次元の実世界データセット（例：Netflix データセット）への行列補完の応用を可能にすること。
• 暗黙のフィードバックや外部データに依存せず、明示的フィードバック（観測された評価）にのみ依存するモデルを設計すること。
• さまざまな行列次元とスパarsity 水準においてスケーラブルかつ効果的なモデルを確保すること。

提案手法

• 行と列のサンプル（例：ユーザーとアイテム）を共有潜在空間にマップする2本の分岐を持つ深層ニューラルネットワークを提案する。
• 行列因子分解の原則に従い、ユーザー・アイテム相互作用を潜在空間における内積としてモデル化する。
• 入力表現の圧縮と高次元行列へのスケーラビリティを実現するため、学習可能なフィルターやストライドを備えた畳み込みサマリゼーション層を導入する。
• 学習セット内の観測済みエントリを用いて、再構成誤差のフロベニウスノルム最小化により、モデルをエンドツーエンドで訓練する。
• エンコーダの分岐を凍結し、学習済み潜在表現を用いて内積計算により未学習のサンプルの欠損値を推論することで、拡張性を実現する。
• ML-1M データセットでは、限られた学習サンプルによる過学習を防ぐためにドロップアウト正則化（割合 0.6）を適用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの行列補完モデルは、学習時に見られなかったユーザーまたはアイテムに対しても、再訓練や微調整なしに一般化可能か？
• RQ2 実世界の高次元データセットにおいて、提案手法は最先端の手法と比較して、精度と拡張性の面でどのように性能を発揮するか？
• RQ3 畳み込みサマリゼーション層は、Netflix のような大規模行列において、スケーラビリティと性能をどの程度向上させるか？
• RQ4 訓練に使用しなかったデータ、特に訓練サンプルに重複のない領域においても、モデルは強力な性能を維持できるか？
• RQ5 暗黙のユーザー行動に依存せず、明示的フィードバックのみで競争力のある性能を達成できるか？

主な発見

• NMC-S モデルは ML-1M データセットで最先端の性能を達成し、領域 (II) および (III) で I-Autorec や U-Autorec を上回り、領域 (IV) への拡張が可能な唯一のモデルである。
• Netflix データセットでは、(I) や (III) でトップパフォーマンスを発揮していないものの、(II) および (IV) で最高の性能を発揮し、優れた一般化性と拡張性を示した。
• 全評価領域において競争力ある精度を維持しており、RMSE および MAE 値は常に SOTA ベースラインと同等またはそれ以下であり、特に未学習データのシナリオで顕著に優れた性能を発揮した。
• サマリゼーション層の使用により、入力次元が極めて大きな Netflix データセットのような高次元行列の効果的処理が可能になった。
• NMC-S は、暗黙のフィードバックや外部情報に依存せず、明示的フィードバックのみで高い性能を達成でき、実世界の応用における適用性を高めた。
• モデルの拡張性は実証的に検証された：再訓練なしに、学習済み潜在表現を活用して未学習のユーザーまたはアイテムの欠損値を内積計算により予測可能である。