[論文レビュー] Predictive Image Regression for Longitudinal Studies with Missing Data

Sharmin Pathan, Yi Hong|arXiv (Cornell University)|Aug 19, 2018

Statistical Methods and Inference参考文献 21被引用数 14

ひとこと要約

本論文では、LDDMMフレームワーク内での時間変動型変形をベクトルモーメンタム系列によってモデル化することで、欠損データを含む縦断的医療画像系列の予測を行う深層学習フレームワークを提案する。ベースライン画像とモーメンタム系列をCNN-LSTMアーキテクチャで符号化し、微分同相変形によって画像スキャンを再構築することで、不規則な時間間隔や欠損スキャンが存在する状況でも、正確でシャープな予測を達成した。この有効性は、合成データおよびOASIS MRIデータセットを用いた検証で確認された。

ABSTRACT

In this paper, we propose a predictive regression model for longitudinal images with missing data based on large deformation diffeomorphic metric mapping (LDDMM) and deep neural networks. Instead of directly predicting image scans, our model predicts a vector momentum sequence associated with a baseline image. This momentum sequence parameterizes the original image sequence in the LDDMM framework and lies in the tangent space of the baseline image, which is Euclidean. A recurrent network with long term-short memory (LSTM) units encodes the time-varying changes in the vector-momentum sequence, and a convolutional neural network (CNN) encodes the baseline image of the vector momenta. Features extracted by the LSTM and CNN are fed into a decoder network to reconstruct the vector momentum sequence, which is used for the image sequence prediction by deforming the baseline image with LDDMM shooting. To handle the missing images at some time points, we adopt a binary mask to ignore their reconstructions in the loss calculation. We evaluate our model on synthetically generated images and the brain MRIs from the OASIS dataset. Experimental results demonstrate the promising predictions of the spatiotemporal changes in both datasets, irrespective of large or subtle changes in longitudinal image sequences.

研究の動機と目的

• 不規則にサンプリングされたり、一部欠損している場合の縦断的研究におけるフォローアップ医療画像スキャンの予測という課題に対処すること。
• 動画のような予測タスクにおいて一般的に見られるぼやけた画像生成を回避すること。
• LDDMM画像登録の幾何的忠実性と深層ニューラルネットワークのデータ駆動型学習能力を統合すること。
• 複雑な並進運搬操作を必要とせずに、被験者固有の画像予測を可能にすること。
• 集団レベルの傾向を学習しつつ、個別化された軌道予測をサポートできるスケーラブルでエンドツーエンドのフレームワークを構築すること。

提案手法

• モデルは、ベースライン画像に関連するベクトルモーメンタム系列を予測し、LDDMMフレームワーク下での画像変形をパrameter化する。
• 畳み込みニューラルネットワーク（CNN）は、ベースライン画像をそのベースライン画像の接空間内の特徴表現に符号化する。
• 長短期記憶（LSTM）ネットワークは、時間的に変化するベクトルモーメンタム系列を符号化し、時間的ダイナミクスを捉える。
• CNNとLSTMの特徴が統合され、再構築用のベクトルモーメンタム系列のデコードに用いられる。
• 訓練中にバイナリマスクを適用し、欠損時間点の損失計算を無視することで、不完全な縦断的データに対するロバストな処理を可能にする。
• 予測されたモーメンタム系列を用いてLDDMMシューティング法でベースライン画像を変形することで、画像系列を再構築する。

実験結果

リサーチクエスチョン

• RQ1 不規則な時間間隔や欠損スキャンを含む縦断的医療画像系列を、深層学習モデルが正確に予測できるか？
• RQ2 脳室拡大のような微細で進行的な解剖的変化を、縦断的MRIデータにおいてモデルがどれほど的確に捉えられるか？
• RQ3 LDDMMと深層ニューラルネットワークを統合することで、標準的なピクセルベースの動画予測ネットワークと比較して、予測のシャープネスが向上するか？
• RQ4 モデルは、既知の変形パターンを持つ合成データおよび実臨床データセット（OASISなど）に一般化可能か？
• RQ5 接空間内でのベクトルモーメンタム系列の使用が、正確で解剖学的に妥当な画像系列の再構築能力をどの程度向上させるか？

主な発見

• OASISデータセットにおいて、非 dementia である被験者では平均予測誤差が 5.8616e-4 ± 1.0703e-4、dementia である被験者では 6.1105e-4 ± 1.9793e-4 を示し、画像系列の再構築において高い精度を達成した。
• モデルは、脳萎縮の進行、特に脳室拡大を的確に捉えた。変形マップは、時間経過とともに脳室周囲のグリッドが拡大していることを明らかにした。
• 予測スキャンと実際のスキャンの差異は、フォローアップスキャンとベースラインの差異よりも常に小さく、再構築の忠実度が向上していることを示した。
• 集団アトラスから前向きおよび後向きの時間方向に、妥当な画像系列を生成し、神経変性疾患に伴う進行的脳変化と整合する変化を明らかにした。
• 訓練時にバイナリマスクを用いることで、欠損データポイントを効果的に無視でき、観察スケジュールが不完全であっても高い性能を維持できた。
• アーキテクチャは、縦断的データから集団レベルの変形傾向を学習することで、大規模な時間的ギャップを有する欠損スキャンの予測に対してもロバストであることが示された。