[論文レビュー] DuSK: A Dual Structure-preserving Kernel for Supervised Tensor Learning with Applications to Neuroimages

Lifang He, Xiangnan Kong+4 more|arXiv (Cornell University)|Jul 31, 2014

Tensor decomposition and applications参考文献 18被引用数 7

ひとこと要約

本稿では、二重テンソリアルマッピングを通じてマルチウェイ構造的関係を保持することで、テンソルデータに直接作用する構造保持型カーネルDuSKを提案する。CP分解とテンソル積特徴空間を活用することで、特に小標本サイズ下で、従来のベクトル化および従来のテンソルカーネルを上回る性能を発揮し、神経画像解析における精度と頑健性の向上を実証する。

ABSTRACT

With advances in data collection technologies, tensor data is assuming increasing prominence in many applications and the problem of supervised tensor learning has emerged as a topic of critical significance in the data mining and machine learning community. Conventional methods for supervised tensor learning mainly focus on learning kernels by flattening the tensor into vectors or matrices, however structural information within the tensors will be lost. In this paper, we introduce a new scheme to design structure-preserving kernels for supervised tensor learning. Specifically, we demonstrate how to leverage the naturally available structure within the tensorial representation to encode prior knowledge in the kernel. We proposed a tensor kernel that can preserve tensor structures based upon dual-tensorial mapping. The dual-tensorial mapping function can map each tensor instance in the input space to another tensor in the feature space while preserving the tensorial structure. Theoretically, our approach is an extension of the conventional kernels in the vector space to tensor space. We applied our novel kernel in conjunction with SVM to real-world tensor classification problems including brain fMRI classification for three different diseases (i.e., Alzheimer's disease, ADHD and brain damage by HIV). Extensive empirical studies demonstrate that our proposed approach can effectively boost tensor classification performances, particularly with small sample sizes.

研究の動機と目的

• 従来の教師ありテンソル学習手法がテンソルをベクトルにフラット化するため、内在する構造的情報を損なうという限界に対処すること。
• 高次元神経画像応用において特に重要となる、テンソルデータのマルチウェイ構造を保持する非線形カーネル手法の開発。
• 神経画像診断の分野で一般的な小標本サイズの状況において、分類性能の向上。
• 従来のベクトル空間カーネル手法をテンソル空間へ拡張するため、構造的整合性を維持する二重テンソリアルマッピングを導入すること。
• テンソルベースのカーネル設計による事前構造的知識の統合を通じて、より正確で解釈可能なモデルの構築を可能にすること。

提案手法

• 各入力テンソルを特徴空間テンソルに変換する二重テンソリアルマッピング関数を提案し、マルチモード構造を保持する。
• CP（CANDECOMP/PARAFAC）因子分解を用いてテンソルを低ランク成分に分解し、構造的特徴空間における効率的なカーネル計算を可能にする。
• 特徴空間におけるテンソル積を用いてテンソルカーネルを構築し、従来のベクトルベースのカーネルをテンソルドメインに一般化する。
• SVMと統合することで教師あり分類を実現し、非線形の決定境界を維持しながら構造的整合性を保つ。
• テンソル積特徴空間を活用してモード間相互作用をモデル化し、行列アンフォールディングに起因する情報損失を回避する。
• 数学的整合性と構造保持を保証するように、ベクトル空間カーネルの理論的拡張としてのカーネルを設計する。

実験結果

リサーチクエスチョン

• RQ1 テンソルデータの完全なマルチウェイ構造を教師あり学習中に保持できるカーネル手法を設計可能か。特に、ベクトル化やアンフォールディングによる情報損失を回避できるか。
• RQ2 二重テンソリアルマッピングによるテンソル構造の保持が、小標本サイズの神経画像データセットにおける分類性能にどのように寄与するか。
• RQ3 CP因子分解を統合することで、非線形テンソルカーネルの表現力と効率性がどの程度向上するか。
• RQ4 従来のベクトルベースおよび行列アンフォールディングベースのテンソルカーネルと比較して、提案手法DuSKカーネルの精度と頑健性はどのように異なるか。
• RQ5 提案手法のカーネルは、複雑な神経疾患を含む実世界のfMRI分類タスクに効果的に適用可能か。

主な発見

• DuSKは、アルツハイマー病、ADHD、HIV関連脳損傷のfMRIデータにおいて、ベクトルベースおよび従来のテンソルカーネル手法を上回る顕著な分類精度向上を示した。
• 過学習が従来手法の主な課題となる小標本サイズの状況においても、優れた性能を発揮した。
• 二重テンソリアルマッピングによるテンソル構造の保持は、よりコンactかつ情報豊富な表現をもたらし、モデルの解釈性と一般化性能を向上させた。
• 実験的結果から、行列アンフォールディングに依存する従来のテンソルカーネルとは異なり、本手法はモード間の構造的関係を保持しており、性能が優れていることが示された。
• CP因子分解とテンソルカーネルの統合により、高次元テンソルデータに対する計算効率とスケーラビリティが向上した。
• 特に、3次元MRIデータにおけるボクセル間の空間的相関を捉える点で顕著に効果的であり、神経画像に内在する再帰性と局所性を活用した。