[論文レビュー] AIRNet: Self-Supervised Affine Registration for 3D Medical Images using Neural Networks

Evelyn Chee, Zhenhua Wu|arXiv (Cornell University)|Oct 5, 2018

Medical Image Segmentation Techniques参考文献 19被引用数 53

ひとこと要約

AIRNet は自己教師あり CNN を用いて 2 つの画像間の 3D アフィン変換パラメータを直接回帰し、従来の方法より速く、しばしばより正確な登録を実現し、モダリティと患者差を横断する汎化性を持つ。

ABSTRACT

In this work, we propose a self-supervised learning method for affine image registration on 3D medical images. Unlike optimisation-based methods, our affine image registration network (AIRNet) is designed to directly estimate the transformation parameters between two input images without using any metric, which represents the quality of the registration, as the optimising function. But since it is costly to manually identify the transformation parameters between any two images, we leverage the abundance of cheap unlabelled data to generate a synthetic dataset for the training of the model. Additionally, the structure of AIRNet enables us to learn the discriminative features of the images which are useful for registration purpose. Our proposed method was evaluated on magnetic resonance images of the axial view of human brain and compared with the performance of a conventional image registration method. Experiments demonstrate that our approach achieves better overall performance on registration of images from different patients and modalities with 100x speed-up in execution time.

研究の動機と目的

• 事前定義された類似度指標を用いず、迅速なエンドツーエンドのアフィン登録を動機づける。
• トレーニングのために合成アフィン変換を生成して、豊富なラベルなしデータを活用する。
• 登録のために特化した識別的な画像特徴を学習し、モダリティ横断の汎化を目指す。
• 2画像間で直接変換パラメータを推定してワンショット登録を可能にする。
• 速度と精度の向上を示すため、従来の登録と比較して評価する。

提案手法

• 重み共有を行う2つの分枝エンコーダアーキテクチャが I_ref と I_t を処理し、結合後に全結合回帰を行い、12次元のアフィンパラメータベクトルを出力する。
• エンコーダブロックは DenseNet に触発された密結合層の組み合わせと、異方性3D MRデータを扱うための2D(初期)と3D(後期)畳み込みの混合を組み合わせる。
• トレーニングは自己教師付き合成を使用：脳画像にランダムなアフィンTを適用して I_t を作成し、既知の t（T の上部3行を平坦化したもの）をラベルとして用いる。
• 画素値を [0,1] に正規化し、ネットワーク入力のために画像を 20x320x320 にリサイズする。
• 損失は予測された変換パラメータと真の t との平均二乗誤差であり、Adam で最適化する。
• ベースライン比較では SimpleITK のアフィン登録を用い、Mattes mutual information を類似度指標とする。

実験結果

リサーチクエスチョン

• RQ1 CNN は2つの3D MR画像から直接12Dアフィン変換パラメータを回帰することを学習できるだろうか？
• RQ2 自己教師付きの合成データは、異なる患者やモダリティに跨る正確で高速な登録を可能にするか？
• RQ3 モダリティと患者間で、精度（Jac, d_H）と実行時間の観点で AIRNet は従来のアフィン登録とどう比較されるか？
• RQ4 学習した特徴は未見のモダリティや患者横断の登録タスクに一般化するか？

主な発見

Experiment	Method	Jac	d_H	Running Time
E_p	SimpleITK [6,7]	0.561	1.876	166.537 ± 89.844
AIRNet- S1,2,c	0.613	1.431	0.785 ± 0.027
AIRNet- S1,2	0.586	1.546	0.778 ± 0.036
AIRNet- D1,2	0.599	1.512	0.738 ± 0.016
E_p,m	SimpleITK [6,7]	0.524	1.978	216.848 ± 114.369
AIRNet- S1,2,c	0.615	1.459	0.793 ± 0.034
AIRNet- S1,2	0.577	1.574	0.772 ± 0.028
AIRNet- D1,2	0.601	1.475	0.755 ± 0.022

• AIRNet のバリアントは、従来法よりも平均 Jaccard 指標が高く、跨患者およびモダリティを跨ぐ settings で側頭葉領域に対して示した。
• AIRNet- S1,2,c は E_p で Jac 0.613 and d_H 1.431、E_p,m で 0.615 and 1.459 を一貫して示し、SimpleITK はそれぞれ 0.561/1.876 および 0.524/1.978 に達する。
• すべての AIRNet バリアントは登録あたり約 0.75–0.79 秒で動作し、従来法（SimpleITK 約166–217 秒）に比べ約100倍の高速化を提供。
• AIRNet は10の脳領域でより良い登録性能を示し、未見のモダリティや跨患者データへの頑健な汎化を示す。
• エンコーダの可視化（PCA/t-SNE）は、学習された表現がモダリティよりも幾何学的変換情報を強調することを示している。
• 同一患者・同一モダリティの対で訓練しても、跨患者・跨モダリティの登録で評価しても方法は有効であり続ける。