[論文レビュー] Learning to Compare Longitudinal Images

Heejong Kim, Mert R. Sabuncu|arXiv (Cornell University)|Apr 5, 2023

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、対照的変化（例：腫瘍の増大や脳萎縮）を検出しつつ、コントラストや方向のずれといった不必要な変化を無視するように、縦断的医療画像のペアを比較する自己教師ありおよび教師ありの深層学習モデル、PaIRNetを提案する。時間的順序または真値の変化ラベルを用いて訓練することで、前処理を必要とせず、臨床的に重要な変化を局所化および定量化する。定量的・可視化的タスクの両面で、最先端の手法を上回る性能を発揮する。

ABSTRACT

Longitudinal studies, where a series of images from the same set of individuals are acquired at different time-points, represent a popular technique for studying and characterizing temporal dynamics in biomedical applications. The classical approach for longitudinal comparison involves normalizing for nuisance variations, such as image orientation or contrast differences, via pre-processing. Statistical analysis is, in turn, conducted to detect changes of interest, either at the individual or population level. This classical approach can suffer from pre-processing issues and limitations of the statistical modeling. For example, normalizing for nuisance variation might be hard in settings where there are a lot of idiosyncratic changes. In this paper, we present a simple machine learning-based approach that can alleviate these issues. In our approach, we train a deep learning model (called PaIRNet, for Pairwise Image Ranking Network) to compare pairs of longitudinal images, with or without supervision. In the self-supervised setup, for instance, the model is trained to temporally order the images, which requires learning to recognize time-irreversible changes. Our results from four datasets demonstrate that PaIRNet can be very effective in localizing and quantifying meaningful longitudinal changes while discounting nuisance variation. Our code is available at \url{https://github.com/heejong-kim/learning-to-compare-longitudinal-images.git}

研究の動機と目的

• 医療画像における臨床的に意味のある縦断的変化と不必要な変化を区別する課題に対処すること。
• 従来の前処理手順（例：画像登録）を回避し、データから直接時間的に逆転不可能なパターンを学習するモデルを開発すること。
• 手動によるアノテーションや複雑な統計的モデリングに依存せずに、個別レベルの変化検出と集団レベルの時間的パターン学習を両立させること。
• 時間的順序に基づく自己教師あり学習が、真値ラベルがなくても縦断的変化を効果的に捉えられることを示すこと。
• 活性マップを用いた解釈可能な可視化により、臨床的解釈性を向上させること。

提案手法

• PaIRNetは、縦断的画像のペアを処理し、共同埋め込み空間を学習するためのシアン型ニューラルネットワークアーキテクチャを採用する。
• 自己教師あり設定では、モデルは画像ペアの正しい時間的順序を予測するように訓練され、意味のある変化は時間的に逆転不可能であるという仮定を活用する。
• 教師あり設定では、真値の変化ラベル（例：腫瘍体積の差）を用いて、ターゲット変数を予測する。
• モデルは、時間的順序ペアの埋め込みが逆順ペアよりも近くなるように、コントラスト学習の目的関数を採用する。
• 変化が顕著な領域を可視化するために、クラス活性マップ（CAM）技術を用いて活性マップを生成する。
• 本アプローチは画像登録などの前処理ステップを必要とせず、被験者間で共通する時間的パターンに依存する。

Figure 1: Pairwise Image Ranking Network (PaIRNet) consists of a feature extraction network, followed by a subtraction, and a ranking layer.

実験結果

リサーチクエスチョン

• RQ1 時間的順序に基づく自己教師あり学習アプローチは、真値ラベルがなくても、医療画像における意味のある縦断的変化を効果的に検出できるか？
• RQ2 多様なデータセットにおいて、PaIRNetは既存の教師ありおよび自己教師あり手法と比較して、縦断的変化の定量的評価でどの程度優れているか？
• RQ3 PaIRNetは、個別レベルでの変化局所化において、被験者間のばらつきや不必要な変化をどの程度抑制できるか？
• RQ4 自己教師ありの時間的順序タスクは、教師あり学習と同等の性能を変化定量において達成できるか？
• RQ5 PaIRNetの可視化は、前処理に依存せず、脳萎縮や腫瘍増大といった既知の生物学的変化を正確に反映できるか？

主な発見

• 自己教師ありPaIRNetは、4つのすべてのデータセットで教師ありPaIRNetと同等に高い相関スコアを達成し、時間的順序が自己教師あり信号として有効であることを示した。
• StarmenおよびEmbryoデータセットでは、縦断的変化が被験者間のばらつきよりも顕著であったため、自己教師ありPaIRNetはLSSL-CLおよびLVAEを上回る変化定量性能を示した。
• 脳老化および腫瘍データセットでは、被験者間のばらつきが高かったが、教師ありPaIRNetはCSRを著しく上回り、複雑な状況下でも頑健であることを示した。
• PaIRNetの活性マップは、老化における脳室や腫瘍増大といった生物学的に関連する領域を的確に強調した一方、動きや位置ずれに起因する誤った変化は抑制した。
• 自己教師ありモデルの局所化性能は、教師ありバージョンと同等であり、時間的順序が意味のある変化の代理として有効であることを裏付けた。
• PaIRNetの可視化は、CSRとは異なり、実際の縦断的変化とアーチファクトを明確に区別しており、関心のある解剖学的構造外の領域に過剰に注目する傾向が少なかった。

Figure 2: Correlation between ground-truth change in target variable and predicted change. Each row shows a different dataset and each column shows a different method. The coefficients in bold text are the best models for each task.