[論文レビュー] Tensor Train polynomial models via Riemannian optimization

Alexander Novikov, Mikhail Trofimov+1 more|arXiv (Cornell University)|May 12, 2016

Tensor decomposition and applications参考文献 26被引用数 23

ひとこと要約

この論文は、指数的マシン（ExM）を導入し、パラメータテンソルを指数的に圧縮するためのテンソル・トレース（TT）形式を用いて、すべての次数の特徴相互作用を捉えるテンソルベースのモデルを提案する。確率的リーマン最適化を採用することで、最大2^30パラメータを持つ高次相互作用モデルを効率的に学習し、複雑な相互作用を有する合成データ上で最先端の性能を達成する。

ABSTRACT

Modeling interactions between features improves the performance of machine learning solutions in many domains (e.g. recommender systems or sentiment analysis). In this paper, we introduce Exponential Machines (ExM), a predictor that models all interactions of every order. The key idea is to represent an exponentially large tensor of parameters in a factorized format called Tensor Train (TT). The Tensor Train format regularizes the model and lets you control the number of underlying parameters. To train the model, we develop a stochastic version of Riemannian optimization, which allows us to fit tensors with $2^{30}$ entries. We show that the model achieves state-of-the-art performance on synthetic data with high-order interactions.

研究の動機と目的

• 機械学習における高次特徴相互作用のモデル化という課題に取り組むこと。これは、レコメンデーションシステムやセンチメント分析などのタスクにおいて極めて重要である。
• 特徴次元の増加に伴い指数関数的に増大する計算コストとパラメータ数を、完全な相互作用モデルのスケーリングを回避することで低減すること。
• 数十億のパラメータを持つ大規模なテンソル構造モデルを効率的に学習できるスケーラブルな最適化フレームワークを開発すること。
• 既知の高次相互作用構造を持つ合成データ上で、提案手法の有効性を実証すること。

提案手法

• すべての特徴相互作用を、テンソル・トレース（TT）形式におけるパラメータテンソルとして表現する。この形式により、高次元テンソルが低ランクのコンポONENTに分解される。
• TT形式は本質的に正則化を施し、ランク選択によってパラメータ数を制御可能となる。
• TTパラメータの学習に確率的リーマン最適化を採用し、パラメータ空間の多様体構造を保持する。
• 最適化フレームワークは大規模テンソルにおける効率的な更新を可能とし、最大2^30エントリを持つモデルの学習を可能にする。
• リーマン幾何学を活用することで、確率的更新中にパラメータの一貫性を維持し、収束性と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 計算コストが著しく増大するのを避けることなく、すべての次数の特徴相互作用をパラメータ効率的に捉えるモデルは可能か？
• RQ2 テンソル・トレース形式は、予測性能を維持しつつ、高次相互作用モデルの正則化にどの程度効果的か？
• RQ3 確率的リーマン最適化は、数十億のパラメータを持つモデルを実行可能範囲でスケーリング可能か？
• RQ4 提案されたExMモデルは、既知の高次相互作用を持つ合成データにおいて、既存手法を上回る性能を示せるか？

主な発見

• 指数的マシンモデルは、高次特徴相互作用を有する合成データセットで最先端の性能を達成した。
• 確率的リーマン最適化フレームワークを用いて、最大2^30エントリを持つテンソルを効率的に学習した。
• テンソル・トレース形式により効果的な正則化が実現され、モデルの表現力が高かろうとも過学習を防止した。
• 提案された最適化手法は大規模な相互作用モデルに効率的にスケーリングでき、実用的妥当性を示した。