[論文レビュー] Multi-modal Learning with Missing Modality via Shared-Specific Feature Modelling

Hu Wang, Yuanhong Chen+4 more|arXiv (Cornell University)|Jul 26, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、欠損モダリティを伴うマルチモーダル学習のためのシンプルで効果的な手法である共有・特異的特徴モデリング（ShaSpec）を提案する。分布アライメントとドメイン分類損失を用いて、共有特徴と特異的特徴を同時に学習することで、訓練時および推論時におけるモダリティ欠損に対しても、分類およびセグメンテーションの両タスクで頑健な性能を発揮する。ShaSpecは、最先端の結果を達成し、BraTS2018における強化腫瘍のセグメンテーションDiceスコアを3%以上、腫瘍コアで5%、全腫瘍で3%向上した。

ABSTRACT

The missing modality issue is critical but non-trivial to be solved by multi-modal models. Current methods aiming to handle the missing modality problem in multi-modal tasks, either deal with missing modalities only during evaluation or train separate models to handle specific missing modality settings. In addition, these models are designed for specific tasks, so for example, classification models are not easily adapted to segmentation tasks and vice versa. In this paper, we propose the Shared-Specific Feature Modelling (ShaSpec) method that is considerably simpler and more effective than competing approaches that address the issues above. ShaSpec is designed to take advantage of all available input modalities during training and evaluation by learning shared and specific features to better represent the input data. This is achieved from a strategy that relies on auxiliary tasks based on distribution alignment and domain classification, in addition to a residual feature fusion procedure. Also, the design simplicity of ShaSpec enables its easy adaptation to multiple tasks, such as classification and segmentation. Experiments are conducted on both medical image segmentation and computer vision classification, with results indicating that ShaSpec outperforms competing methods by a large margin. For instance, on BraTS2018, ShaSpec improves the SOTA by more than 3% for enhancing tumour, 5% for tumour core and 3% for whole tumour. The code repository address is https://github.com/billhhh/ShaSpec/.

研究の動機と目的

• 既存のモデルの実世界への応用を制限する、マルチモーダル学習におけるモダリティ欠損の課題に対処すること。
• 訓練時や推論時に全モダリティが利用可能である必要がある、またはタスクに特化した（例：分類やセグメンテーションのいずれかのみ）従来手法の制限を克服すること。
• 分類およびセグメンテーションの両タスクに一般化可能な、統一的でシンプルなアーキテクチャを構築し、訓練時および推論時におけるモダリティ欠損に対応すること。
• 非専用訓練（non-dedicated training）を可能にし、1つのモデルで複数のモダリティ欠損組み合わせを処理することで、各欠損シナリオごとの別々のモデルの必要性を低減すること。

提案手法

• ShaSpecは二重ブランチエンコーダーを採用：全モダリティに共通する特徴を学習する共有エンコーダーと、モダリティ固有の表現を学習する個別な特異的エンコーダー。
• 共有特徴と特異的特徴を、学習可能な線形投影層を用いたリサンプリング学習メカニズムで融合する。
• 補助タスクとして、分布アライメント（MMD損失を用いて）とドメイン分類を実施し、分離可能で意味的に意味のある特徴学習を促進する。
• 全体の損失関数は、主タスク損失（例：交差エントロピーまたはMSE）と補助損失をハイパーパrameter α と β で重み付けしたものを組み合わせる。
• 本手法はエンドツーエンドで学習可能であり、分類およびセグメンテーションタスクへの適用に際して、アーキテクチャの変更を最小限に抑えることができる。
• 推論時、再訓練なしに利用可能な共有特徴と特異的特徴に依存することで、動的にモダリティ欠損を処理する。

実験結果

リサーチクエスチョン

• RQ1 訓練時および推論時にモダリティが欠損する状況を想定しても、各欠損シナリオごとに専用モデルを必要とせず、統一的なマルチモーダル学習フレームワークが効果的に機能するか？
• RQ2 モダリティが不完全な状況下でも、分離可能な共有特徴と特異的特徴を学習することで、下流タスクの性能が向上するか？
• RQ3 分布アライメントとドメイン分類という補助タスクに基づくシンプルなアーキテクチャが、セグメンテーションや分類といった多様なタスクで最先端の性能を達成できるか？
• RQ4 補助損失の重みを決定するハイパーパrameter α と β が、モデルの性能および学習安定性にどのように影響するか？

主な発見

• BraTS2018において、ShaSpecは全モダリティ条件下で、強化腫瘍で3.0%、腫瘍コアで5.0%、全腫瘍で3.0%の最先端性能を達成した。
• 推論時にT1 MRIのみが利用可能な状況でも、ShaSpecは全腫瘍のDiceスコアを74.82%に達成し、ベースラインを1.5%上回った。
• OpenIの胸部X線分類タスク（二値分類）において、ShaSpecはAUC 0.89を達成し、全モダリティベースライン（AUC 0.90）を上回り、30%の画像モダリティ欠損で学習されたモデルを著しく上回った。
• アブレーションスタディの結果、α = 0.1 と β = 0.02 が最適なパフォーマンスをもたらし、補助損失の重みを小さくすることで主タスクへの干渉を防げる可能性が示された。
• t-SNE可視化により、共有特徴は複数のモダリティ間で良好にクラスタリングされており、特異的特徴は分離されていることが確認され、分離目的の有効性が裏付けられた。
• ShaSpecはわずか0.22Mパラメータで、GPUメモリ使用量は1421MiBを安定して維持し、OoMエラーでクラッシュしやすいSMILと比較して、効率性およびメモリ安定性の両面で優れた性能を発揮した。