[論文レビュー] Representation Disentanglement for Multi-modal MR Analysis.

Jiahong Ouyang, Ehsan Adeli+3 more|arXiv (Cornell University)|Feb 23, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 18被引用数 6

ひとこと要約

本論文は、マルチモodal MRIにおける解釈可能な解体とモodal特徴を明示的に分離するためのマージン損失および条件付き畳み込みベースのフレームワークを提案し、優れた分離性能を達成するとともに、ゼロドーズPET再構成や脳腫瘍セグメンテーションといった下流タスクにおける頑健でモダリティに依存しない特徴の生成を可能にした。

ABSTRACT

Multi-modal MRIs are widely used in neuroimaging applications since different MR sequences provide complementary information about brain structures. Recent works have suggested that multi-modal deep learning analysis can benefit from explicitly disentangling anatomical (shape) and modality (appearance) information into separate image presentations. In this work, we challenge mainstream strategies by showing that they do not naturally lead to representation disentanglement both in theory and in practice. To address this issue, we propose a margin loss that regularizes the similarity in relationships of the representations across subjects and modalities. To enable robust training, we further use a conditional convolution to design a single model for encoding images of all modalities. Lastly, we propose a fusion function to combine the disentangled anatomical representations as a set of modality-invariant features for downstream tasks. We evaluate the proposed method on three multi-modal neuroimaging datasets. Experiments show that our proposed method can achieve superior disentangled representations compared to existing disentanglement strategies. Results also indicate that the fused anatomical representation has potential in the downstream task of zero-dose PET reconstruction and brain tumor segmentation. The code is available at \url{this https URL}.

研究の動機と目的

• 既存の解体手法が理論的・実践的に真の表現の分離を達成できないという限界に対処すること。
• すべてのMRIモダリティを1つの統一モデルで符号化できる、訓練に頑健なフレームワークの開発。
• 分離済みの解剖的表現を統合し、下流タスク用のモダリティに依存しない特徴に変換する統合関数の設計。
• 臨床的応用に即した実世界の神経画像データセットを用いた、提案手法の有効性の検証。

提案手法

• 被験者およびモダリティ間の表現関係の類似性を正則化するマージン損失を導入し、分離を強制する。
• 複数のMRIモダリティを1つのモデル内で統合的に符号化するための条件付き畳み込みネットワークを採用し、訓練の安定性と一般化性能を向上させる。
• 分離済みの解剖的表現を集約し、1つのモダリティに依存しない特徴表現に統合する統合関数を設計する。
• ゼロドーズPET再構成や脳腫瘍セグメンテーションなどの下流タスクに、分離済みの解剖的特徴を入力として使用する。
• マージン損失を用いてエンドツーエンドでモデルを訓練し、分離性能と下流タスクのパフォーマンスの両方を最適化する。
• 学習されたモダリティに依存しない特徴を活用し、モダリティ固有の変動が学習を妨げる可能性があるタスクの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチモダリティMRIにおける既存の解体戦略は、理論的・実践的に真の表現の分離を達成できるのか？
• RQ2 統一モデルが多様なMRIモダリティを効果的に符号化しつつ、分離済みの解剖的および外観特徴を保持できるか？
• RQ3 提案されたマージン損失は、被験者間およびモダリティ間の表現関係を効果的に正則化し、分離性能を向上させられるか？
• RQ4 統合された解剖的表現は、下流神経画像処理タスクにおける頑健でモダリティに依存しない特徴として機能できるか？
• RQ5 ベースライン手法と比較して、提案手法はゼロドーズPET再構成および脳腫瘍セグメンテーションの性能をどの程度向上できるか？

主な発見

• 提案手法は、3つのマルチモダリティ神経画像データセットにおいて、既存の解体戦略と比較して優れた表現の分離性能を達成した。
• 分離済みの解剖的表現は、ゼロドーズPET再構成において顕著に性能向上を示し、モダリティに依存しない特徴の有効性を裏付けた。
• 統合された解剖的表現は、複数のデータセットにおいて脳腫瘍セグメンテーションでSOTAまたは競争力のある結果を達成した。
• 条件付き畳み込みの設計により、1つのモデル内で安定的かつ効果的なマルチモダリティ符号化が可能となり、訓練の頑健性が向上した。
• マージン損失は表現関係を効果的に正則化し、被験者およびモダリティ間で一貫性があり、より明確に分離された特徴が得られた。
• 提案手法は多様な神経画像処理タスクに広く一般化可能であり、臨床応用への強い可能性を示した。