[論文レビュー] Tensor Canonical Correlation Analysis for Multi-view Dimension Reduction

Yong Luo, Dacheng Tao+3 more|arXiv (Cornell University)|Feb 9, 2015

Tensor decomposition and applications参考文献 2被引用数 4

ひとこと要約

本稿では、共通の相関構造をテンソルとしてモデル化することで、高次相関を扱えるように一般化されたテンソル型標準的相関分析（TCCA）を提案する。多視点相関最大化問題をランク1のテンソル近似問題に再定式化することで、反復最小二乗法（ALS）を用いて複雑な視点間依存関係を効率的に捉えることができ、顔認識予測、広告分類、画像アノテーションといった多視点次元削減タスクで優れた性能を発揮する。

ABSTRACT

Canonical correlation analysis (CCA) has proven an effective tool for two-view dimension reduction due to its profound theoretical foundation and success in practical applications. In respect of multi-view learning, however, it is limited by its capability of only handling data represented by two-view features, while in many real-world applications, the number of views is frequently many more. Although the ad hoc way of simultaneously exploring all possible pairs of features can numerically deal with multi-view data, it ignores the high order statistics (correlation information) which can only be discovered by simultaneously exploring all features. Therefore, in this work, we develop tensor CCA (TCCA) which straightforwardly yet naturally generalizes CCA to handle the data of an arbitrary number of views by analyzing the covariance tensor of the different views. TCCA aims to directly maximize the canonical correlation of multiple (more than two) views. Crucially, we prove that the multi-view canonical correlation maximization problem is equivalent to finding the best rank-1 approximation of the data covariance tensor, which can be solved efficiently using the well-known alternating least squares (ALS) algorithm. As a consequence, the high order correlation information contained in the different views is explored and thus a more reliable common subspace shared by all features can be obtained. In addition, a non-linear extension of TCCA is presented. Experiments on various challenge tasks, including large scale biometric structure prediction, internet advertisement classification and web image annotation, demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 従来のCCAが二視点データに限定されるという制限を、二つ以上の特徴源を有する多視点学習シナリオにおいて克服する。
• 既存の多視点拡張手法におけるペアワイズ相関最大化の欠陥（すべての視点間の高次統計的依存関係を無視する点）を是正する。
• 複数の視点間の標準的相関を直接最大化できる、整合的なフレームワークを構築する。この際、共分散構造をテンソルとしてモデル化する。
• 多視点相関最大化問題を低ランクテンソル近似問題に還元することで、最適な共通部分空間を効率的に計算可能にする。
• データを再生核ヒルバート空間にマッピングするカーネル化を用いて、非線形設定への拡張を図り、高次元かつデータが限られた状況でも性能を向上させる。

提案手法

• すべての視点の共分散テンソルを用いて、多視点次元削減をテンソルベースの標準的相関最大化問題として定式化する。
• 多視点相関の最大化が、データ共分散テンソルの最良のランク1近似を見つけることと数学的に同等であることを証明する。
• 反復最小二乗法（ALS）を用いてランク1テンソル近似問題を効率的に解き、スケーラビリティと収束性を確保する。
• データを再生核ヒルバート空間にマッピングすることで、非線形な視点間の関係をモデル化できる、TCCAのカーネル化されたバージョンを導入する。
• テンソル行列積とモード積を用いて、各視点固有の重みベクトルを含む多重線形形式として標準的相関を表現する。
• 共分散テンソルの構造を活用し、ALSによる反復最適化を用いることで、大規模データセットにも適した計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 二つを超える視点を扱える理論的整合性のあるCCAの拡張は、標準的相関の理論的基盤を保ちつつ開発可能か？
• RQ2 二つの視点間の相関を超えて、すべての視点にわたる高次相関をモデル化することで、多視点データに対するより強固で情報豊かな共通部分空間が得られるか？
• RQ3 多視点相関最大化問題は、低ランクテンソル近似問題に再定式化可能か？ もし可能であれば、効率的に解けるか？
• RQ4 TCCAの性能は、実世界の多視点学習タスクにおいて、従来のペアワイズCCA拡張と比べてどのように異なるか？
• RQ5 非線形カーネル化されたTCCAは、高次元データやデータが限られたデータセットにおいて、どの程度性能を向上させるか？

主な発見

• TCCAは、顔認識予測、インターネット広告分類、Web画像アノテーションの各タスクで、ペアワイズ手法が見逃す高次相関を捉えることで、多視点次元削減において優れた性能を発揮する。
• 視点数が二つを超過する状況では、分類精度と部分空間の質の両面で、ペアワイズCCA拡張を顕著に上回る。
• SecStrデータセットにおける実験結果から、共通部分空間の次元が増大しても、TCCAは低コストの計算とメモリ使用量を維持しており、スケーラビリティを示している。
• NUS-WIDEの哺乳類サブセット（1概念あたり6サンプルのみラベル付き）においてもTCCAは優れた性能を発揮し、データが限られた状況でも頑健であることを示している。
• 非線形拡張されたTCCAは、高次元データにおいてさらに結果を改善し、特にカーネル手法と組み合わせた場合に顕著な向上が確認された。これにより、多視点学習における非線形モデル化の価値が裏付けられた。
• 理論的分析により、多視点相関最大化問題がランク1テンソル近似と数学的に同等であることが確認され、この手法の数学的基盤が正当化されるとともに、ALSによる効率的最適化が可能であることが示された。