[論文レビュー] Nonlinear Inductive Matrix Completion based on One-layer Neural Networks

Kai Zhong, Zhao Song+2 more|arXiv (Cornell University)|May 26, 2018

Recommender Systems and Techniques参考文献 17被引用数 3

ひとこと要約

本稿では、シグモイド関数や双曲正 tangent 関数などの非線形活性化関数を用いた1層ニューラルネットワークを用いた非線形な誘導行列分解フレームワークを提案し、線形モデルを上回る推薦精度を実現する。勾配降下法が真のパラメータに十分近い初期化のもとで最適解に収束することを示し、近傍における強い凸性を活用する。また、線形IMCと比較して推薦およびクラスタリングタスクで優れた性能を示す。

ABSTRACT

The goal of a recommendation system is to predict the interest of a user in a given item by exploiting the existing set of ratings as well as certain user/item features. A standard approach to modeling this problem is Inductive Matrix Completion where the predicted rating is modeled as an inner product of the user and the item features projected onto a latent space. In order to learn the parameters effectively from a small number of observed ratings, the latent space is constrained to be low-dimensional which implies that the parameter matrix is constrained to be low-rank. However, such bilinear modeling of the ratings can be limiting in practice and non-linear prediction functions can lead to significant improvements. A natural approach to introducing non-linearity in the prediction function is to apply a non-linear activation function on top of the projected user/item features. Imposition of non-linearities further complicates an already challenging problem that has two sources of non-convexity: a) low-rank structure of the parameter matrix, and b) non-linear activation function. We show that one can still solve the non-linear Inductive Matrix Completion problem using gradient descent type methods as long as the solution is initialized well. That is, close to the optima, the optimization function is strongly convex and hence admits standard optimization techniques, at least for certain activation functions, such as Sigmoid and tanh. We also highlight the importance of the activation function and show how ReLU can behave significantly differently than say a sigmoid function. Finally, we apply our proposed technique to recommendation systems and semi-supervised clustering, and show that our method can lead to much better performance than standard linear Inductive Matrix Completion methods.

研究の動機と目的

• 複雑なユーザ-アイテム関係をモデル化できない線形誘導行列分解（IMC）の限界を解消すること。
• 非線形活性化関数を用いた1層ニューラルネットワークを用いたIMCの非線形拡張を構築し、ユーザおよびアイテム特徴の非線形パターンをよりよく捉えること。
• 最適解の近傍で強い凸性を示すことで、非凸かつ非線形な設定において最適化収束の理論的保証を提供すること。
• 推薦および半教師付きクラスタリングタスクにおいて、本手法が線形IMCを上回ることを実験的に検証すること。

提案手法

• 非線形誘導行列分解（NIMC）を非線形写像を用いた予測関数として定式化する：A(x,y) = ⟨ϕ(Uᵀx), ϕ(Vᵀy)⟩、ここでϕは非線形活性化関数である。
• パラメータ最適化に勾配降下法を用い、初期化が真のパラメータに十分近い場合に収束することを理論的分析で示す。
• 行列濃度不等式と活性化関数（例：シグモイド、tanh）のリプシッツ連続性を用いて、ヘッセ行列および勾配項における推定誤差をバインドする。
• 損失関数のヘッセ行列を分析し、特定の活性化関数に対して最適解の近傍で強い凸性が成り立つことを証明する。
• ReLUとシグモイド/tanhを比較し、ReLUの非負制約が最適化挙動およびモデル性能に与える影響の違いを強調する。
• 観測済みのユーザ-アイテム評価ペアΩに基づくデータ依存型サンプリングモデルを採用し、限られたデータでも効率的にモデルを学習可能とする。

実験結果

リサーチクエスチョン

• RQ1 1層ニューラルネットワークを用いた誘導行列分解モデルは、非線形性を導入することにより、線形IMCを上回る推薦精度を達成できるか？
• RQ2 この非凸かつ非線形な設定において、勾配降下法がどのようにしてグローバル最適解に収束するか？
• RQ3 異なる活性化関数（例：ReLU 対 シグモイド/tanh）は、最適化挙動およびモデル性能にどのように影響を与えるか？
• RQ4 この非線形フレームワークにおいて、最適化プロセスの収束についてどのような理論的保証を提供できるか？
• RQ5 本手法は、実世界の推薦および半教師付きクラスタリングタスクにおいて、線形IMCと比較してどのように性能を発揮するか？

主な発見

• シグモイドまたはtanh活性化関数を用いた本稿で提案するNIMCモデルは、標準的な線形IMCと比較して、推薦およびクラスタリングタスクで顕著に優れた性能を示す。
• 損失関数がその近傍で強い凸性を示すため、真のパラメータに十分近い初期化のもとで勾配降下法はグローバル最適解に収束する。
• 理論的分析により、損失関数のヘッセ行列が最適解の近傍で良好に条件付けられていることが示され、効率的な最適化が可能である。
• ReLUベースのモデルは、潜在空間の非負制約のため、挙動が異なり、データの性質によっては有益であるか、あるいは制限要因となる可能性がある。
• 本手法はわずかな数の観測評価のみを必要とし、パラメータ数も少ないため、データが限られる状況に適している。
• 実験的結果により、非線形モデルが複数のベンチマークデータセットにおいて、推薦およびクラスタリングタスクの両方で線形IMCを上回ることが確認された。