[論文レビュー] Polynomial Networks and Factorization Machines: New Insights and Efficient Training Algorithms

Mathieu Blondel, Masakazu Ishihata+2 more|arXiv (Cornell University)|Jul 29, 2016

Tensor decomposition and applications被引用数 37

ひとこと要約

この論文は、低ランク対称テンソル推定フレームワークを通じて多項式ネットワーク（PNs）と因子分解機械（FMs）を統一し、両モデルの訓練に効率的な多凸最適化アルゴリズムを提案する。任意の次数のFMsの目的関数が多凸であることを証明し、安定でスケーラブルな訓練を可能にするリフトド最適化アプローチを導入することで収束保証を得る。

ABSTRACT

Polynomial networks and factorization machines are two recently-proposed models that can efficiently use feature interactions in classification and regression tasks. In this paper, we revisit both models from a unified perspective. Based on this new view, we study the properties of both models and propose new efficient training algorithms. Key to our approach is to cast parameter learning as a low-rank symmetric tensor estimation problem, which we solve by multi-convex optimization. We demonstrate our approach on regression and recommender system tasks.

研究の動機と目的

• 核関数とテンソル推定に基づく共通の理論的枠組みの下で多項式ネットワーク（PNs）と因子分解機械（FMs）を統一すること。
• PNの訓練における非凸性に対処するため、パラメータ学習を低ランク対称テンソル推定問題に再定式化すること。
• 任意の次数のFMsの目的関数が多凸であることを証明し、最適化の安定性を向上させること。
• 特に任意の相互作用次数を持つPNとFMの両方のための効率的でスケーラブルな訓練アルゴリズム（特に座標降下ソルバ）を開発すること。
• 回帰およびレコメンデーションシステムタスクにおける提案手法の実験的評価を通じて、優れた性能と頑健性を示すこと。

提案手法

• モデルパラメータを因子化された行列から導かれる低ランクテンソルとして表現する低ランク対称テンソル推定問題としてパラメータ学習を定式化すること。
• 非凸な目的関数を多凸なものに変換するための対称化トリックを用い、最適化中の収束を保証すること。
• 予測関数をANOVAカーネル（K=𝒜ᵐ）と同次多項式カーネル（K=𝓗ᵐ）を用いて定式化し、それぞれFMsとPNsを回復すること。
• m個のd×rサイズの行列を推定するリフトド最適化アプローチを提案し、r=k/mとすることで直接法と同等のモデルサイズを確保すること。
• 3次FMs用の座標降下（CD）ソルバを導出するが、これは従来存在しなかった。
• カーネルトリックを用いて特徴を暗黙的にマッピングし、明示的な単項式特徴拡張を回避しながらも、相互作用モデリング能力を維持すること。

実験結果

リサーチクエスチョン

• RQ1 核関数とテンソル推定に基づく単一の最適化フレームワークにおいて、多項式ネットワークと因子分解機械を統一できるか？
• RQ2 任意の次数の因子分解機械の目的関数は多凸であるか？ その最適化安定性への影響は何か？
• RQ3 リフトド最適化アプローチにより、高次多項式ネットワークの非凸訓練を多凸問題に変換し、収束保証を得られるか？
• RQ4 2値特徴データと連続的特徴データの両方において、ANOVAカーネルと同次多項式カーネルは性能でどのように比較されるか？
• RQ5 λベクトルを1に固定した場合、モデル容量と予測行動に与える影響、特に符号の柔軟性の観点からどうなるか？

主な発見

• 任意の次数の因子分解機械の目的関数が多凸であることが証明され、安定で収束する最適化が可能になる。
• 提案されたリフトド最適化アプローチにより、低ランク対称テンソル推定と対称化を介して、多項式ネットワークの非凸訓練が多凸問題に変換される。
• ANOVAカーネル（𝒜²）において𝝀=𝟏と固定すると、厳密に上三角行列となる重み行列が得られ、これは正定値でないため、より高いモデルの柔軟性を可能にする。
• 実験的に、ANOVAカーネル（𝒜ᵐ）はレコメンデーションシステムのような2値特徴タスクで同次多項式カーネル（𝓗ᵐ）を上回る性能を示す一方、連続的特徴の回帰タスクでは𝓗ᵐが優れている。
• 3次FMs用に提案された座標降下ソルバは、非線形回帰およびレコメンデーションシステムベンチマークで最先端の性能を達成する。
• リフトド手法によりr=k/mとすることで、直接法と同等のモデルサイズを確保し、パラメータ効率性の観点から公平な比較が可能になる。