[論文レビュー] Multi-View Factorization Machines

Bokai Cao, Hucheng Zhou+2 more|arXiv (Cornell University)|Jun 3, 2015

Tensor decomposition and applications参考文献 12被引用数 13

ひとこと要約

本稿では、複数のビューにまたがる高次特徴相互作用を統合的に因子分解することで、マルチビュー学習における予測精度を向上させるMulti-View Factorization Machines (MVMs)を提案する。相互作用項に共通する潜在的要因を共有することで、データスパarsity下でのパラメータ推定を向上させ、過学習を軽減し、映画評価予測ではFMsより3.51%、広告クリック予測では0.57%高い精度を達成した。

ABSTRACT

For a learning task, data can usually be collected from different sources or be represented from multiple views. For example, laboratory results from different medical examinations are available for disease diagnosis, and each of them can only reflect the health state of a person from a particular aspect/view. Therefore, different views provide complementary information for learning tasks. An effective integration of the multi-view information is expected to facilitate the learning performance. In this paper, we propose a general predictor, named multi-view machines (MVMs), that can effectively include all the possible interactions between features from multiple views. A joint factorization is embedded for the full-order interaction parameters which allows parameter estimation under sparsity. Moreover, MVMs can work in conjunction with different loss functions for a variety of machine learning tasks. A stochastic gradient descent method is presented to learn the MVM model. We further illustrate the advantages of MVMs through comparison with other methods for multi-view classification, including support vector machines (SVMs), support tensor machines (STMs) and factorization machines (FMs).

研究の動機と目的

• 推薦や広告などウェブ規模の応用における、複数のデータビューにまたがる複雑で補完的な特徴相互作用をモデル化する課題に対処すること。
• 第二次の相互作用しか捉えられない、または各ビューを独立に処理する従来のモデルの限界を克服し、データスパarsity下でも最適でない性能にとどまることを防ぐこと。
• 複数のビューにまたがる全次相互作用（最大三次まで）を統合的に因子分解する統一フレームワークを構築し、一般化性能を向上させ、過学習を軽減すること。
• さまざまな機械学習タスクに対応できる柔軟な損失関数を用いて、モデルの互換性を確保すること。
• ウェブ規模の展開を可能にするために、Spark上にスケーラブルで分散型のトレーニングシステムを設計すること。

提案手法

• 複数のビューからの特徴間で全次相互作用（最大三次まで）をモデル化する一般化予測器であるMulti-View Machines (MVMs)を提案する。
• 複数のビューにまたがる相互作用パラメータの統合的因子分解機構を導入し、スパarsity下でのパラメータ推定を向上させるために、共有潜在ベクトルを学習する。
• MVMモデルを以下のように因子化された相互作用項で定式化する：$ \hat{y} = \mathbf{w}_0 + \sum_{i=1}^n w_i x_i + \sum_{i<j} \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j + \sum_{i<j<k} \langle \mathbf{v}_i, \mathbf{v}_j, \mathbf{v}_k \rangle x_i x_j x_k $、各ビュー間で潜在ベクトルを共有する。
• 効率的な最適化のため、適応的学習率を用いた確率的勾配降下法（SGD）を適用し、スケーラビリティを確保するためApache Spark上に分散版を実装する。
• モデルの複雑さを制御し、過学習を防ぐために正則化（$\lambda$）と潜在次元（$k$）を用いる。
• 回帰のための二乗損失や分類のためのロジスティック損失など、異なる損失関数を組み込むことで、さまざまな教師あり学習タスクをサポートする。

実験結果

リサーチクエスチョン

• RQ1 複数のビューにまたがる全次特徴相互作用の統合的因子分解は、ペairwiseまたはビュー単位の相互作用のみをモデル化するモデルと比較して、マルチビュー学習における予測性能を向上させることができるか？
• RQ2 MVMモデルは、共有潜在因子の因子分解によって、マルチビュー設定におけるデータスパarsityと過学習をどのように処理するか？
• RQ3 三次相互作用の導入は、映画評価や広告クリック予測といった実世界のウェブアプリケーションにおいて、モデルの精度をどの程度向上させるか？
• RQ4 Spark上での分散MVM実装は、大規模なウェブアプリケーションにおいてどの程度スケーラブルか？
• RQ5 潜在次元$ k $や正則化強度$ \lambda $といった主要ハイパーパrameterに、MVMモデルはどの程度感度を示すか？

主な発見

• MVMsは、映画評価予測のMovieLensデータセットにおいて、標準的なFactorization Machines (FMs) よりも3.51%高い精度を達成した。
• Bing Adsデータセットでは、広告クリック予測においてFMsより0.57%高い精度を達成し、実世界の応用において一貫した向上を示した。
• モデルの性能は$ k = 40 $の潜在的要因でピークに達し、それ以上にモデル表現力が向上するとデータ容量を超えて過学習が発生した。
• 正則化強度$\lambda$に対してモデルは頑健であり、$\lambda \leq 0.1$の範囲で安定した性能を維持した。これは$\lambda$の小さな変化に対して感度が低いことを示している。
• Spark上での分散MVM実装は、ノード数の増加に伴いほぼ線形のスループット向上を達成し、ウェブ規模のデータ処理において優れたスケーラビリティを示した。
• 感度分析により、$k = 40$で訓練損失とテスト損失の両方が最小化され、モデル容量と一般化性能のトレードオフが妥当であることが検証された。