[論文レビュー] Self-Supervised Transformers for fMRI representation

Itzik Malkiel, Gony Rosenman+2 more|arXiv (Cornell University)|Dec 10, 2021

Functional Brain Connectivity Studies被引用数 10

ひとこと要約

本論文は、自己教師ありのトランスフォーマー枠組みTFFを紹介する。TFFは、ラベルなしの4次元fMRIデータを事前学習し、3次元ボリュームを再構築することを目的としており、その後、下流タスクで微調整を行う。TFFは、脳パラセレーションを必要とせず、2段階の事前学習と微調整戦略に加え、マルチロス再構築を効果的に行うことで、年齢・性別予測および統合失調症分類において最先端の性能を達成している。

ABSTRACT

We present TFF, which is a Transformer framework for the analysis of functional Magnetic Resonance Imaging (fMRI) data. TFF employs a two-phase training approach. First, self-supervised training is applied to a collection of fMRI scans, where the model is trained to reconstruct 3D volume data. Second, the pre-trained model is fine-tuned on specific tasks, utilizing ground truth labels. Our results show state-of-the-art performance on a variety of fMRI tasks, including age and gender prediction, as well as schizophrenia recognition. Our code for the training, network architecture, and results is attached as supplementary material.

研究の動機と目的

• 自己教師あり事前学習を用いて、fMRIタスクの転移学習を可能にする深層学習フレームワークの開発。
• 限られたラベル付き例とノイズの多いラベルを伴う高次元的・ノイズの多いfMRIデータの課題に対処すること。
• 全4次元fMRIボリュームをエンドツーエンドで処理することで、脳パラセレーションの必要性を排除すること。
• 年齢予測、性別分類、統合失調症診断などの臨床的fMRIタスクにおける性能向上。
• 事前学習の重要性を検証し、モデルアーキテクチャの主要な構成要素をアブレーションすること。

提案手法

• TFFは2段階の訓練戦略を採用：まず、ラベルなしfMRIボリュームを用いた自己教師あり事前学習により3次元データを再構築し、その後、ラベル付き下流タスクで微調整する。
• モデルは3次元fMRIボリュームをボクセルのシーケンスとして処理し、学習可能な埋め込み層を用いてそれらをトークン表現に変換する。
• 多層トランスフォーマーエンコーダーが、埋め込みボクセルのシーケンスを処理し、4次元fMRIスキャン全体における長距離の空間的・時間的依存関係を捉える。
• 事前学習では、元のfMRIボリュームを復元できるように、L1、L2、および知覚的損失を組み合わせたマルチロス目的関数を採用する。
• 訓練の安定化と収束性の向上を図るため、エンコーダーはボクセル単位の正規化とグローバル正規化で初期化される。
• 微調整段階では、事前学習済みエンコーダーが各fMRIフレームを個別に処理し、出力を[CLS]トークンと連結し、分類用にトランスフォーマーに通す。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり事前学習手順は、fMRIデータの下流タスクにおける表現学習を向上させることができるか？
• RQ2 パラセレーションベースの手法と比較して、全4次元fMRIボリュームをエンドツーエンドで学習することは、性能と一般化能力にどのように影響するか？
• RQ3 マルチロス再構築目的関数における各損失（L1、L2、知覚的損失）が、モデル性能と収束性に果たす寄与度は何か？
• RQ4 事前学習は、特に病理的分類において、小さなノイズの多いfMRIデータセットにおいて顕著に性能を向上させるか？
• RQ5 2段階の事前学習戦略は、全モデルを1段階で学習する戦略と比較して、どのように異なるか？

主な発見

• TFFは、年齢・性別予測において最先端の性能を達成し、ST-GCN や DeepfMRI といった既存手法を上回っている。
• COBRE統合失調症データセットにおいて、TFFはAUC 87.9を達成し、ST-GCN より4ポイント、DeepfMRI より8.3ポイント高い。
• TFF_vanillaベースラインと比較して、NMSEを約26%低減し、L1損失で0.4、L2損失で3.2の絶対的改善を示した。
• 事前学習をスキップするTFF_vanillaモデルは、統合失調症分類タスクで収束に失敗しており、事前学習の必要性を強く示している。
• アブレーションスタディの結果、L1、L2、知覚的損失のすべてとボクセル単位の正規化が、モデルの収束性と性能に不可欠であることが判明した。
• 訓練データを削減した状況でも、TFFは全データサイズで優れた性能を維持しており、ロバストネスと一般化能力を示している。