[論文レビュー] Local Spatiotemporal Representation Learning for Longitudinally-consistent Neuroimage Analysis

Mengwei Ren, Neel Dey+3 more|PubMed|Jun 9, 2022

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 13

ひとこと要約

本論文は、被験者内時間的・空間的スケールにおける特徴の自己同一性を活用することで、縦断的神経画像の局所的でマルチスケールな時空間表現学習フレームワークを提案する。デコーダーにおける分散、共分散、直交性正則化および微調整時のセグメンテーション一貫性損失を導入することで、自己教師ありおよび教師ありのベースラインと比較して、成人および乳児のMRIデータセットにおいて、より優れたセグメンテーション精度と縦断的一貫性を達成している。

ABSTRACT

Recent self-supervised advances in medical computer vision exploit the global and local anatomical self-similarity for pretraining prior to downstream tasks such as segmentation. However, current methods assume i.i.d. image acquisition, which is invalid in clinical study designs where follow-up longitudinal scans track subject-specific temporal changes. Further, existing self-supervised methods for medically-relevant image-to-image architectures exploit only spatial or temporal self-similarity and do so via a loss applied only at a single image-scale, with naive multi-scale spatiotemporal extensions collapsing to degenerate solutions. To these ends, this paper makes two contributions: (1) It presents a local and multi-scale spatiotemporal representation learning method for image-to-image architectures trained on longitudinal images. It exploits the spatiotemporal self-similarity of learned multi-scale intra-subject image features for pretraining and develops several feature-wise regularizations that avoid degenerate representations; (2) During finetuning, it proposes a surprisingly simple self-supervised segmentation consistency regularization to exploit intra-subject correlation. Benchmarked across various segmentation tasks, the proposed framework outperforms both well-tuned randomly-initialized baselines and current self-supervised techniques designed for both i.i.d. and longitudinal datasets. These improvements are demonstrated across both longitudinal neurodegenerative adult MRI and developing infant brain MRI and yield both higher performance and longitudinal consistency.

研究の動機と目的

• 独立同分布(i.i.d.)データを仮定する既存の自己教師あり手法の限界を解消する。これは、被験者内時間的相関が強い縦断的神経画像において成立しない。
• 負例が存在しない状況で、画像対画像ネットワークのマルチスケールで局所的な対照学習において退化した表現を回避するため、デコーダーに特徴ワイズ正則化を導入する。
• 微調整時に単純な自己教師あり一貫性正則化を適用することで、低ショットおよびフェイシュット設定におけるセグメンテーション性能と縦断的一貫性を向上させる。
• 神経変性疾患および発達的脳研究の下流タスクのためのセグメンテーションに、ラベルなし縦断的MRIデータから頑健で転送可能な表現を可能にする。

提案手法

• エンコーダーとデコーダー両ブランチでマルチスケール特徴のピクセル単位のコサイン類似度損失を適用し、縦断的画像系列における局所的時空間自己同一性を活用する。
• デコーダー特徴に、ノイズ除去、分散、共分散正則化および直交性正則化という3つの正則化項を導入し、負例が存在しない状況での退化解を防ぐ。
• 被験者内で対応するピクセル位置を正例として使用する対照学習の目的関数を採用し、位置依存の特徴を引き起こす単純な負例サンプリングを回避する。
• 微調整時に自己教師あり一貫性正則化を適用し、ラベルなしデータ上で隣接する時間点間で一貫したセグメンテーション予測を促進する。
• 時間点間で重みを共有するU-Netベースのアーキテクチャを採用し、時系列の整合性と特徴の一貫性を保証する。
• マルチスケール対照学習損失と正則化項の組み合わせを用いて、ラベル付きデータが限られた状況で微調整を含めたエンドツーエンド学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.仮定が成立しない状況下で、局所的でマルチスケールな時空間自己教師あり学習が縦断的神経画像の表現学習を改善できるか？
• RQ2 負例が存在しない状況で、画像対画像アーキテクチャのマルチスケールで局所的な対照学習において、退化した表現をどのように回避できるか？
• RQ3 微調整時にセグメンテーション予測の時空間的一貫性を強制することで、性能と縦断的一貫性が向上するか？
• RQ4 提案手法は、小児および成人の神経変性疾患対象を含む多様な縦断的神経画像タスクに一般化可能か？

主な発見

• 提案手法は、成人および乳児のMRIデータセットにおけるワンショット、フェイシュット、フルショットのセグメンテーションタスクで、よく調整されたランダム初期化モデルおよび最先端の自己教師あり手法を上回る性能を達成している。
• 正則化を適用することで、デコーダー特徴はより高い空間的多様性と洗練された意味的コンテンツを示し、高いランクの空間的共分散行列と多様な類似度マップが得られている。
• 正則化なしのアブレーションでは、特に深層のデコーダー層で空間的多様性が低く、アーチファクトを含む退化した表現に収束する。
• 微調整時にセグメンテーション一貫性正則化を組み込むことで、時間点間での予測の縦断的一貫性が顕著に向上している。
• 可視化結果から、正則化された特徴は時間経過で意味的な類似度パターンを示す一方、正則化なしの特徴は空間的に冗長でアーチファクトを含む出力を生成することが確認された。
• 定量的評価では、限定的なアノテーションでも、完全なモデルがベースラインよりも高いDiceスコアと優れた時系列的一貫性を達成している。