[論文レビュー] Multi-output Polynomial Networks and Factorization Machines
本稿では、複数出力の多項式ネットワークと因子分解マシンを、複数の出力間で共有される基本ベクトルを凸的で行方向にスパースなテンソル定式化によってモデル化することで導入する。条件付き勾配法に補正を加えた再適合手法を提案し、非凸的基底選択のもとでもグローバル収束を達成する。従来手法と比較して、多クラス分類およびレコメンデーションタスクにおける精度とスパarsityの両面で優れた性能を示す。
Factorization machines and polynomial networks are supervised polynomial models based on an efficient low-rank decomposition. We extend these models to the multi-output setting, i.e., for learning vector-valued functions, with application to multi-class or multi-task problems. We cast this as the problem of learning a 3-way tensor whose slices share a common basis and propose a convex formulation of that problem. We then develop an efficient conditional gradient algorithm and prove its global convergence, despite the fact that it involves a non-convex basis selection step. On classification tasks, we show that our algorithm achieves excellent accuracy with much sparser models than existing methods. On recommendation system tasks, we show how to combine our algorithm with a reduction from ordinal regression to multi-output classification and show that the resulting algorithm outperforms simple baselines in terms of ranking accuracy.
研究の動機と目的
- 因子分解マシンおよび多項式ネットワークを単一出力から複数出力へ拡張し、多クラスおよび多タスク学習に適用すること。
- 複数出力スライス間で共有される基底をもつ3-wayテンソルとして、多出力学習問題を定式化すること。
- 無限次元行列表現における行方向スパース性を強制するためのグループスパースペナルティを用いた凸最適化フレームワークを構築すること。
- 非凸的基底選択に対してもグローバル収束を保証する補正を加えた再適合を組み込んだ条件付き勾配法を設計すること。
- 多クラス分類およびレコメンデーションタスクにおいて、本手法を評価し、モデルのスパarsityとランク付け性能の向上を示すこと。
提案手法
- 本手法は、複数出力のFMsおよびPNsを、各出力スライスが共通の低ランク基底を持つ3-wayテンソルとして学習する。
- 無限次元行列としての問題を、$l_1/l_q$-ノルムペナルティを用いて行方向スパース性をもつ形に再定式化する。
- 新しい基底ベクトルを選択し、現在の基底上で係数を再適合するステップを交互に繰り返す条件付き勾配法を開発する。
- 基底選択ステップが非凸的であるにもかかわらず、収束性とスパarsityを向上させる補正を加えた再適合ステップを含む。
- 順序回帰にはordinal McRank低減を用い、各関連度レベルごとに多タスク分類器を訓練する。
- 最適化には、nDCGなどのランク付け指標に適した補正された確率を出力するためのバイナリロジスティック損失を用いる。
実験結果
リサーチクエスチョン
- RQ1因子分解マシンおよび多項式ネットワークは、多クラスおよび多タスク問題の多出力学習に効果的に拡張可能か？
- RQ2複数出力間で共有される基底学習を凸最適化問題としてどのように定式化できるか？
- RQ3非凸的基底選択を伴う条件付き勾配法は、共有基底設定においてもグローバル収束を達成できるか？
- RQ4分類およびレコメンデーションタスクにおいて、本手法は単一出力モデルおよびカーネル化されたベースラインと比較して、精度とスパarsityの両面で優れているか？
- RQ5順序回帰低減と組み合わせた場合、本手法はレコメンデーションシステムにおけるランク付け性能を向上させられるか？
主な発見
- 多クラス分類において、本手法はカーネルSVMと同等の精度を達成したが、Nyström法と比較して顕著にスパースなモデルを実現した。
- l_1/l_∞-制約付きバージョンは、vowelデータセットで89.57%の精度を達成し、l_1およびランダム初期化を用いた投影勾配降下法を上回った。
- レコメンデーションシステムでは、l_1/l_\infty制約付きの多出力FMsが、MovieLens 100kおよび1MでそれぞれnDCG@1が0.75および0.76を達成し、単一出力FMsおよびPNsを上回った。
- 全テストデータセットにおいて、RMSEおよびnDCG指標の両方で単一出力モデルを上回り、より優れたランク付け性能を示した。
- 非凸的基底選択にもかかわらず、グローバル収束を達成した。これは、補正を加えた再適合戦略の理論的頑健性を裏付けた。
- モデルのスパarsityが顕著に向上し、最良のモデルは他の代替手法と比較してはるかにスパースであった。これは、より良い一般化性能と効率性を示している。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。