[論文レビュー] Neural Network Matrix Factorization

Gintare Karolina Dziugaite, Daniel M. Roy|arXiv (Cornell University)|Nov 19, 2015

Neural Networks and Applications参考文献 15被引用数 144

ひとこと要約

この論文は、従来の行列分解における固定された内積を、学習可能な多層フィードフォワードニューラルネットワークに置き換えることで、ユーザー・アイテム相互作用をモデル化するニューラルネットワーク行列分解（NNMF）を提案する。NNMFは、PMF や BiasedMF といった標準的な低ランク手法を、ベンチマーク共同フィルタリングデータセットで上回るが、グラフに配慮したモデルに劣るため、アーキテクチャ設計とトレーニングにおける潜在的な改善余地が依然として大きい。

ABSTRACT

Data often comes in the form of an array or matrix. Matrix factorization techniques attempt to recover missing or corrupted entries by assuming that the matrix can be written as the product of two low-rank matrices. In other words, matrix factorization approximates the entries of the matrix by a simple, fixed function---namely, the inner product---acting on the latent feature vectors for the corresponding row and column. Here we consider replacing the inner product by an arbitrary function that we learn from the data at the same time as we learn the latent feature vectors. In particular, we replace the inner product by a multi-layer feed-forward neural network, and learn by alternating between optimizing the network for fixed latent features, and optimizing the latent features for a fixed network. The resulting approach---which we call neural network matrix factorization or NNMF, for short---dominates standard low-rank techniques on a suite of benchmark but is dominated by some recent proposals that take advantage of the graph features. Given the vast range of architectures, activation functions, regularizers, and optimization techniques that could be used within the NNMF framework, it seems likely the true potential of the approach has yet to be reached.

研究の動機と目的

• 従来の低ランク行列分解を改善するため、固定された内積を学習可能なニューラルネットワーク関数に置き換える。
• ニューラルネットワークを用いて非線形関数を学習することで、ユーザー・アイテムレーティングのようなスパースで関係的なデータにおける予測性能が向上するかどうかを調査する。
• 潜在的特徴の学習とエンドツーエンドのニューラルネットワーク最適化を、統合的かつ交互に組み合わせる可能性を検討する。
• NNMF のスケーラビリティと、NTN や AutoRec、LLORMA といった最先端モデルと比較した性能を、標準的な共同フィルタリングベンチマーク上で評価する。

提案手法

• 標準的な行列分解における内積 $ U_n^T V_m $ を、多層フィードフォワードニューラルネットワーク $ f_\theta(U_n \circ V_m) $ に置き換える。ここで $ \circ $ は要素ごとの乗算を表す。
• 特徴量を固定してネットワークを学習し、次にネットワークを固定して特徴量を更新するという交互勾配降下法により、ニューラルネットワークの重み $ \theta $ と潜在的特徴ベクトル $ U_n, V_m $ を最適化する。
• 潜在的特徴ベクトルに $ \ell_2 $ 正則化を適用し、バリデーションセットの性能に基づいて正則化パラメータ $ \lambda $ を調整する。
• 出力層にシグモイド非線形活性化関数を適用し、予測値を $[0,1]$ の範囲に制限することで、MovieLens のようなデータセットにおけるレーティングスケールと整合させる。
• ML-1M のような大規模データセットでは、メモリ制約を管理するため、ミニバッチを用いた標準的な確率的勾配降下法でトレーニングを行う。
• テストセットにおける RMSE を用いてモデルの性能を評価し、PMF、BiasedMF、NTN、RFM、LLORMA、AutoRec と比較する。ハイパーパramータと交差検証を一貫して使用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークによる学習可能な非線形関数が、共同フィルタリングにおける固定内積よりも、予測性能を向上させるか。
• RQ2 標準ベンチマークデータセットにおける RMSE の観点から、NNMF は PMF や BiasedMF や NTN といった確立されたモデルと比べてどのように性能を発揮するか。
• RQ3 より深いネットワークアーキテクチャ（例：4層ネットワーク）は性能を向上させるか。また、深さ、幅、一般化性能の間のトレードオフは何か。
• RQ4 アーキテクチャの選択、活性化関数、正則化戦略をさらに最適化することで、現在の結果を上回る NNMF の性能をどの程度向上させられるか。
• RQ5 LLORMA のようなローカル版の PMF に類似した NNMF のローカル版が、スパースで高次元の設定においてグローバルモデルを上回る可能性はあるか。

主な発見

• NNMF は、MovieLens および Protein データセットにおいて、潜在的特徴モデルの中で最先端の性能を達成し、PMF や BiasedMF や RFM を上回る。
• ML-100K データセットでは、NNMF は RMSE 0.875 を達成し、PMF の 0.901 や BiasedMF の 0.894 よりも顕著に低い。
• NTN モデル（約 180,000 パラメータ vs. 約 9,000）よりも性能が優れており、パラメータ数の多さよりも、パラメータ効率性とアーキテクチャ設計の重要性が示唆される。
• 隠れ層が 4 層で、各層に 20 ニューロン、$ (D, D') = (10, 80) $ の 4 隠れ層 NNMF は、浅いまたは幅広い構成よりも優れた性能を示したが、初期化と正則化を慎重に設定しないと、より深いネットワークでは性能が飽和したり過学習を起こしたりする可能性がある。
• NNMF にバイアス補正項を追加すると、RMSE で約 0.003 の改善が得られたが、その効果は小さく、データセット間で一貫性がなかった。
• 強力な性能を発揮しているものの、NNMF は AutoRec や LLORMA のローカル版といったグラフに配慮したモデルに劣っており、共同フィルタリングにおいてローカル構造的情報を統合することが、依然として大きな優位性をもたらすことが示唆されている。