[論文レビュー] Learning Tensors in Reproducing Kernel Hilbert Spaces with Multilinear Spectral Penalties

Marco Signoretto, Lieven De Lathauwer+1 more|arXiv (Cornell University)|Oct 18, 2013

Tensor decomposition and applications参考文献 54被引用数 15

ひとこと要約

本稿では、再生成核ヒルバート空間（RKHS）におけるテンソル積関数の学習のためのカーネルベースのフレームワークを導入し、多次元スペクトル正則化を用いることで、テンソル補完、転移学習、多次元マルチタスク学習の非線形拡張を可能にする。新規の代表定理とブロック勾配降下法を提案し、好みの学習および顔の行動単位強度予測の実験により、線形ベースラインよりも顕著な性能向上が得られた。

ABSTRACT

We present a general framework to learn functions in tensor product reproducing kernel Hilbert spaces (TP-RKHSs). The methodology is based on a novel representer theorem suitable for existing as well as new spectral penalties for tensors. When the functions in the TP-RKHS are defined on the Cartesian product of finite discrete sets, in particular, our main problem formulation admits as a special case existing tensor completion problems. Other special cases include transfer learning with multimodal side information and multilinear multitask learning. For the latter case, our kernel-based view is instrumental to derive nonlinear extensions of existing model classes. We give a novel algorithm and show in experiments the usefulness of the proposed extensions.

研究の動機と目的

• テンソル積再生成核ヒルバート空間（TP-RKHS）における関数の学習のための統一的カーネルベースのフレームワークを開発すること。
• 既存のテンソル正則化手法を一般化する新しい正則化子クラス—多次元スペクトル正則化—を導入すること。
• カーネルベースの関数的定式化を通じて、テンソル補完や多次元マルチタスク学習などの線形テンソルモデルの非線形拡張を可能にすること。
• 一般の多次元スペクトル正則化に対して有効な代表定理を提供し、サンプル外予測を可能にすること。

提案手法

• テンソルの関数的展開に基づく多次元スペクトル正則化を用いて、TP-RKHSにおけるペナルティ付き経験的リスク最小化として学習を定式化する。
• 有限次元テンソルの道具（例：行列化、多次元ランク）を関数的展開を介して無限次元関数へ一般化する。
• 解が有限次元テンソルとして表現可能であることを特徴付ける新規の代表定理を提案し、実用的な計算を可能にする。
• 関数的展開の核ノルムの和と多次元ランク制約を組み合わせた問題を解くためのブロック勾配降下法を導入する。
• ガウスRBFなどのカーネル関数を用いて、特に転移学習およびマルチタスク学習の文脈でデータ内の非線形関係をモデル化する。
• 関数的展開を用いて、有限次元テンソルにおける核ノルムに類似したスペクトル正則化を定義し、複数のモードで低ランク構造を保証する。

実験結果

リサーチクエスチョン

• RQ1 テンソル補完や多次元マルチタスク学習といった既存のテンソル学習問題を一般化する統一的カーネルベースのフレームワークを開発することは可能か？
• RQ2 スペクトル正則化を有限次元テンソルから再生成核ヒルバート空間における関数へ拡張することは可能か？
• RQ3 この関数的設定における最適解の構造は何か？また、多次元スペクトル正則化に対して代表定理を確立できるか？
• RQ4 このカーネルベースの定式化から、線形テンソルモデルの自然な非線形拡張を導出できるか？
• RQ5 提案手法は、実世界のテンソル学習タスクにおいて線形ベースラインと比較して経験的にどのように優れているか？

主な発見

• 提案フレームワークは、既存のテンソル補完、マルチモodal側情報付きの転移学習、多次元マルチタスク学習を特別なケースとして一般化する。
• 好みの学習における実験では、RBFカーネルを用いたMlrank-SNNがN=5000でMSEを10.8×10−3に低下させ、LS-SVR（63.2×10−3）を上回った。
• 顔の行動単位強度予測の実験では、RBF-Mlrank-SNNがN=700でMSE 0.118×10−3を達成し、MLMTL-C（0.109×10−3）およびLS-SVR（0.200×10−3）を上回った。
• ブロック勾配降下法は、核ノルムの和と多次元ランク制約を組み合わせた問題を効果的に解き、スケーラブルな最適化を可能にする。
• 新規の代表定理により、解が有限次元テンソルとして表現可能であることが保証され、関数的問題の計算的実行可能性が確保される。
• カーネルベースの定式化により、線形テンソルモデルの自然な非線形拡張が可能となり、経験的に性能向上が示された。