[論文レビュー] The Matrix Hilbert Space and Its Application to Matrix Learning

Yunfei Ye|arXiv (Cornell University)|Jun 25, 2017

Tensor decomposition and applications参考文献 2被引用数 5

ひとこと要約

本稿では、スカラー内積を行列に一般化し、データ内の構造的およびマルチウェイ相関を保持する行列ヒルバート空間フレームワークを導入する。再生核ヒルバート空間（RKHS）を行列形式に拡張した再生核行列ヒルバート空間（RKMHS）へと拡張することで、MNIST や Yale Face といったベンチマークデータセット上で、RBF-SVM や要因ベースのカーネルを含む既存手法を上回る分類性能を示す、新たな行列カーネルの族を導出する。

ABSTRACT

Theoretical studies have proven that the Hilbert space has remarkable performance in many fields of applications. Frames in tensor product of Hilbert spaces were introduced to generalize the inner product to high-order tensors. However, these techniques require tensor decomposition which could lead to the loss of information and it is a NP-hard problem to determine the rank of tensors. Here, we present a new framework, namely matrix Hilbert space to perform a matrix inner product space when data observations are represented as matrices. We preserve the structure of initial data and multi-way correlation among them is captured in the process. In addition, we extend the reproducing kernel Hilbert space (RKHS) to reproducing kernel matrix Hilbert space (RKMHS) and propose an equivalent condition of the space uses of the certain kernel function. A new family of kernels is introduced in our framework to apply the classifier of Support Tensor Machine(STM) and comparative experiments are performed on a number of real-world datasets to support our contributions.

研究の動機と目的

• 行列構造データのための新しい数学的フレームワークを、行列内積空間を用いて開発すること。
• テンソル分解における構造的情報の保持の限界と NP 困難なランク決定の回避を克服すること。
• 再生核ヒルバート空間（RKHS）を行列形式に拡張し、行列上でのカーネルベース学習を可能にすること。
• マルチウェイ相関を捉え、分類性能を向上させる新しい行列カーネルの族を設計すること。
• 提案フレームワークを実世界のデータセットに対して実証的に検証し、既存の行列およびテンソルベース学習手法を上回ることを示すこと。

提案手法

• フロベニウスノルムと行列フロベニウス内積を用いて、スカラーヒルバート空間の概念を一般化する行列内積空間を定義する。
• 完全な行列内積空間としての行列ヒルバート空間を導入し、入力行列の構造を保持する。
• 再生核ヒルバート空間（RKHS）の概念を、再生性を満たすカーネル関数を介して、再生核行列ヒルバート空間（RKMHS）へと拡張する。
• 特定のカーネル関数を用いて RKMHS の同値条件を導出し、新たな行列カーネルの構築を可能にする。
• 明示的なテンソル分解を回避するため、交互射影に基づくカーネルトリックを提案し、行列カーネルの効率的計算を実現する。
• RKMHSフレームワーク内での多項式カーネルを用いて、サポートテンソルマシン（STM）分類器に適用可能な新しい行列カーネルを構築する。

実験結果

リサーチクエスチョン

• RQ1 行列構造データにおける構造的およびマルチウェイ相関を保持するように、行列内積空間を体系的に定義できるか？
• RQ2 非線形学習を可能にするために、再生核ヒルバート空間（RKHS）を行列値関数へと一般化できるか？
• RQ3 カーネル関数が有効な再生核行列ヒルバート空間（RKMHS）を誘導するための条件は何か？
• RQ4 提案された行列カーネルフレームワークは、分類精度および F1 スコアの観点で、既存のテンソルおよび行列ベース学習手法と比較してどのように差をつけるか？
• RQ5 新規の行列カーネルフレームワークは、二値分類および多値分類の両タスクに効果的に適用可能か？

主な発見

• Yale Face データセットにおいて、提案された行列カーネルは 89.3% の正解率と 0.892 の F メジャーを達成し、SVM-RBF（85.6% 正解率）、要因カーネル（76.0% 正解率）、MRMLKSVM（84.0% 正解率）を顕著に上回った。
• FingerDB データセットでは、新規行列カーネルが 75.0% の正解率と 0.741 の F メジャーを達成し、SVM-RBF（73.0% 正解率）、要因カーネル（64.0% 正解率）、MRMLKSVM（72.5% 正解率）を上回った。
• 新規行列カーネルは、二値分類および多値分類の両タスクにおいて、すべてのベースライン手法を一貫して上回り、頑健性と有効性を示した。
• 性能向上の要因は、構造的情報の損失を避ける分解ベース手法とは異なり、行列構造とマルチウェイ相関の保持にあるとされている。
• 実験から、トレーニングセットのサイズが性能に正の影響を及ぼすことが示され、行列演算に伴う高い計算コストにもかかわらず、提案カーネルは競争力を持つことが分かった。
• このフレームワークは、分類にとどまらず回帰、クラスタリング、ランク付けタスクにも直接応用可能であり、拡張の広範な可能性を示している。