[論文レビュー] Temporal Context Matters: Enhancing Single Image Prediction with Disease Progression Representations

Aishik Konwer, Xuan Xu+3 more|arXiv (Cornell University)|Mar 2, 2022

Colorectal Cancer Screening and Detection被引用数 4

ひとこと要約

本論文は、限られた時系列医療画像データを活用することで、単一画像からの臨床予後予測を向上させる、新しい深層学習フレームワークを提案する。疾病進行をモデル化する自己注意型時系列畳み込みネットワーク（TCN）とスナップショット特徴を抽出するためのビジョントランスフォーマーを用い、最大平均差分（MMD）損失を用いて特徴表現を再キャリブレーションおよびアライメントすることで、チークX線および変形性膝関節症レントゲン画像データセットで最先端の性能を達成した。

ABSTRACT

Clinical outcome or severity prediction from medical images has largely focused on learning representations from single-timepoint or snapshot scans. It has been shown that disease progression can be better characterized by temporal imaging. We therefore hypothesized that outcome predictions can be improved by utilizing the disease progression information from sequential images. We present a deep learning approach that leverages temporal progression information to improve clinical outcome predictions from single-timepoint images. In our method, a self-attention based Temporal Convolutional Network (TCN) is used to learn a representation that is most reflective of the disease trajectory. Meanwhile, a Vision Transformer is pretrained in a self-supervised fashion to extract features from single-timepoint images. The key contribution is to design a recalibration module that employs maximum mean discrepancy loss (MMD) to align distributions of the above two contextual representations. We train our system to predict clinical outcomes and severity grades from single-timepoint images. Experiments on chest and osteoarthritis radiography datasets demonstrate that our approach outperforms other state-of-the-art techniques.

研究の動機と目的

• 限られた時系列画像データを統合することで、単一時刻点の医療画像からの臨床予後予測を向上させること。
• 階層的自己注意型時系列畳み込みネットワーク（TCN）を用いて、連続スキャンから疾病進行経路をモデル化すること。
• スナップショット画像と時系列画像モalityからの特徴分布を統合し、予測性能を向上させること。
• 最大平均差分（MMD）損失を用いた再キャリブレーション機構を構築し、スナップショットと進行ベースの表現間のドメインギャップを埋めること。
• 本手法の有効性を、死亡率および変形性膝関節症の重症度予測のための実世界データセット上で示すこと。

提案手法

• 自己注意型時系列畳み込みネットワーク（TCN）を用いて、連続画像から疾病進行の最適表現を学習する。
• ビジョントランスフォーマー（ViT）を自己教師付きで事前学習し、単一時刻点画像から高レベル特徴を抽出する。
• 再キャリブレーションモジュールを導入し、スナップショット特徴の分布を最適な時系列表現と一致させるために最大平均差分（MMD）損失を用いる。
• MMDを特徴レベル一致の目的関数として用い、フレームワーク全体をエンドツーエンドで微調整し、単一画像からの臨床予後および重症度グレードを予測する。
• TCN内での階層的自己注意機構により、疾病発症における重要な遷移段階を動的に選択可能にする。
• グレード分類のための順序付き損失を統合し、チークX線および変形性膝関節症レントゲン画像データセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 限られた時系列画像データは、単一時刻点医療画像からの臨床予後予測を向上させることができるか？
• RQ2 疎な連続スキャンから疾病進行パターンを効果的にモデル化できるか？
• RQ3 単一画像と時系列シーケンスからの特徴表現を最適にアライメントする方法は何か？
• RQ4 MMDベースの特徴アライメントは、この医療画像文脈で他の分布一致手法を上回る性能を示すか？
• RQ5 TCNアーキテクチャ内のアテンション機構は、臨床的に関連のある進行段階の選択を改善できるか？

主な発見

• 提案手法は、OAI変形性膝関節症データセットにおいて、以前の最先端モデル（SEブロック）比でAUCが5.8%絶対値上昇を達成した。
• OA重症度グレーディングにおいて、Cohen’s Kappaが0.73を記録し、比較対象のすべての手法の中で最高水準であり、真値との強い一致を示した。
• SnapCXRデータセットでは、時系列モデリングなしのベースラインと比較して、換気予測のAUCが12.8%向上し、死亡率予測のAUCが10.12%向上した。
• アブレーションスタディの結果、MMD損失を用いることで、OA重症度予測のAUCが5.4%向上し、KLダイバージェンスおよびバタチンディア損失を上回った。
• TCN内での階層的自己注意機構は、グローバルアテンションよりもわずかに優れた性能を示し、より良い文脈モデリングが可能であることを示唆した。
• MMD損失はλ=0.5の重みで性能が飽和したことが判明し、時系列アライメントのわずかな寄与でも予測性能が顕著に向上することが示された。