[論文レビュー] ATD: Augmenting CP Tensor Decomposition by Self Supervision

Chaoqi Yang, Qian Cheng+5 more|PubMed|Jun 15, 2021

Tensor decomposition and applications参考文献 9被引用数 6

ひとこと要約

本稿では、データ拡張と対照的学習を統合することでCPテンソル分解を向上させる自己教師あり手法である拡張テンソル分解（ATD）を提案する。Frobeniusノルムの適合性と自己教師あり対照的損失を組み合わせた共同目的関数を定式化することで、ATDはテンソルベースラインより最大2.5%の精度向上を達成し、自己教師ありおよびオートエンコーダーモデルより最大15%の向上を示す一方で、ディープラーニングベースラインの5%未満のパラメータ数を用いる。

ABSTRACT

Tensor decompositions are powerful tools for dimensionality reduction and feature interpretation of multidimensional data such as signals. Existing tensor decomposition objectives (e.g., Frobenius norm) are designed for fitting raw data under statistical assumptions, which may not align with downstream classification tasks. In practice, raw input tensor can contain irrelevant information while data augmentation techniques may be used to smooth out class-irrelevant noise in samples. This paper addresses the above challenges by proposing augmented tensor decomposition (ATD), which effectively incorporates data augmentations and self-supervised learning (SSL) to boost downstream classification. To address the non-convexity of the new augmented objective, we develop an iterative method that enables the optimization to follow an alternating least squares (ALS) fashion. We evaluate our proposed ATD on multiple datasets. It can achieve 0.8% ~ 2.5% accuracy gain over tensor-based baselines. Also, our ATD model shows comparable or better performance (e.g., up to 15% in accuracy) over self-supervised and autoencoder baselines while using less than 5% of learnable parameters of these baseline models.

研究の動機と目的

• 従来のテンソル分解の目的関数（統計的適合性に基づくもの）と下流の分類タスクとの間の不整合を解消すること。
• データ拡張を活用してクラスに依存する強力な特徴を学ぶために、自己教師あり学習（SSL）をCPテンソル分解に統合すること。
• 深層学習ベースのSSLおよびオートエンコーダーモデルと同等またはそれ以上の性能を維持しながら、学習可能なパラメータ数を最小限に抑えることでモデルの複雑さを低減すること。
• 非凸な新しい目的関数に対しても、CP分解の逐次最小二乗法（ALS）の構造を保つ効率的な最適化手法を開発すること。

提案手法

• ATDは、標準的なCP分解損失（Frobeniusノルム）と、偏りのない負例サンプリングに基づく対照的自己教師あり損失を組み合わせたハイブリッド目的関数を導入する。
• 自己教師あり損失は、同一サンプルの拡張ビュー同士（正例ペア）の類似性を強制し、異なるクラスのサンプル同士（負例ペア）の非類似性を強制することで、対照的学習フレームワークを採用する。
• 各部分問題を閉形式の最小二乗法で解く反復的最適化スキームを採用しており、非凸な拡張目的関数に対してもCP-ALSと同等の計算効率を維持する。
• サンプリングバイアスを軽減するため、負例の不偏推定を採用することで、訓練の安定性と一般化性能を向上させる。
• 低ランクテンソル基底とそれに対応する係数を学習し、下流の分類タスクに適したコンパクトで解釈可能な特徴抽出器を構築する。
• 本フレームワークは、たとえばTucker分解などの他のテンソルモデルに対しても拡張可能であるが、本稿ではCP分解に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習は、下流の分類タスクにおけるCPテンソル分解の性能を向上させることができるか？
• RQ2 データ拡張を効果的にテンソル分解に統合することで、クラスに依存しないノイズを効果的にフィルタリングできるか？
• RQ3 標準的なCP-ALSと同等の計算効率を維持しつつ、自己教師あり目的関数を定式化できるか？
• RQ4 ATDのような軽量でパラメータ数が少ないモデルは、ディープニューラルネットワークベースのSSLおよびオートエンコーダーモデルをどれほど上回ることができるか？
• RQ5 提案手法は、最先端のベースラインと同等またはそれ以上の性能を示しながら、はるかに少ない学習可能なパラメータ数を用いることができるか？

主な発見

• ATDは、多数の実世界データセットにおいてテンソルベースラインより0.8%〜2.5%の精度向上を達成する。
• 平均して、ATDは自己教師ありおよびオートエンコーダーベースラインより分類精度で最大15%向上し、優れた一般化性能を示す。
• 性能向上にもかかわらず、ATDはディープラーニングベースのSSLおよびオートエンコーダーモデルが要する学習可能なパラメータの5%未満で運用される。
• 反復的最適化手法は、標準的なCP-ALSと同等の漸近的計算量を維持しており、スケーラビリティと効率性を保証する。
• 生理的信号、ハイパースペクトル画像、fMRIデータなど多様なデータタイプにおいても、強靭な性能を示し、広範な適用可能性を示している。
• アブレーションスタディの結果、自己教師あり損失およびデータ拡張の両成分が性能向上に顕著に寄与していることが確認された。