[論文レビュー] Synth-by-Reg (SbR): Contrastive learning for synthesis-based registration of paired images

Adrià Casamitjana, Matteo Mancini+1 more|arXiv (Cornell University)|Jul 30, 2021

AI in cancer detection参考文献 42被引用数 23

ひとこと要約

本論文は、従来の合成による登録のアプローチとは逆に、固定された登録ネットワークを用いて画像合成をガイドする、新しい非教師付きフレームワークであるSynth-by-Reg (SbR) を提案する。画像のぼやけやアーチファクトを防ぐために、ℓ1類似度に基づく登録損失と、コントラスト学習に基づく幾何的整合性損失を導入し、相互情報量ベースの手法に比べ13%低いランドマーク誤差、CycleGANに比べ11%低い誤差を達成しており、教師あり手法と同等の性能を示している。

ABSTRACT

Nonlinear inter-modality registration is often challenging due to the lack of objective functions that are good proxies for alignment. Here we propose a synthesis-by-registration method to convert this problem into an easier intra-modality task. We introduce a registration loss for weakly supervised image translation between domains that does not require perfectly aligned training data. This loss capitalises on a registration U-Net with frozen weights, to drive a synthesis CNN towards the desired translation. We complement this loss with a structure preserving constraint based on contrastive learning, which prevents blurring and content shifts due to overfitting. We apply this method to the registration of histological sections to MRI slices, a key step in 3D histology reconstruction. Results on two different public datasets show improvements over registration based on mutual information (13% reduction in landmark error) and synthesis-based algorithms such as CycleGAN (11% reduction), and are comparable to a registration CNN with label supervision. Code and data are publicly available at \url{https://github.com/acasamitjana/SynthByReg}

研究の動機と目的

• 非線形なモダリティ間登録の課題、特に組織像からMRIへのアライメントにおいて、従来の類似度指標（相互情報量など）が性能を発揮しない問題に対処すること。
• GANベースの合成手法に起因する幻覚現象、ぼやけ、アーチファクトといった問題を克服すること、これは過学習に起因する。
• 完全にアライメントされた訓練データや複雑な敵対的訓練を必要としない弱教師あり、非教師付きフレームワークを構築すること。
• 固定された登録ネットワークを画像合成の微分可能監視信号として活用することで、登録精度を向上させること。
• 局所的画像パッチレベルでのコントラスト学習を用いて、合成画像の幾何的忠実性を保証し、コンテンツのシフトや構造的劣化を防ぐこと。

提案手法

• 本手法は、ターゲットドメイン（例：MRI）の画像ペアを用いて事前学習されたU-Netベースの固定登録ネットワーク R(θR) を用い、変形場を予測し、画像合成を監視する。
• 合成畳み込みニューラルネットワーク G(θG) は、源画像（例：組織像）をターゲットモダリティ（例：MRI）に変換するが、T と変形された合成画像 ST(Φ) の間の ℓ1 類似度を測る新しい登録損失 Lreg を用いる。
• 局所的画像パッチがソース画像と合成画像で意味的に整合していることを保証するため、PatchNCE を用いたコントラスト学習に基づく幾何的整合性損失 Lgeo を導入し、ぼやけやコンテンツシフトを防ぐ。
• 総損失は L(θG) = Lreg + λgeo·Lgeo で表され、λgeo = 0.02 であり、固定された登録ネットワークを介してバックプロパゲーションによりエンドツーエンドで学習される。
• サイクル整合性や分布マッチング損失（例：CycleGAN）を回避することで、訓練の不安定性とメモリ使用量を低減する。
• 本フレームワークは、合成画像と変形場の両方を出力し、下流の登録タスクへの直接的利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 固定された登録ネットワークを、モダリティ間登録のための画像合成ネットワークの監視信号として使用できるか？
• RQ2 コントラスト学習に基づく幾何的整合性損失を組み込むことで、標準的なGANベースの手法と比較して、合成画像の構造的忠実性が向上するか？
• RQ3 合成による登錣のアプローチが、非線形的かつ非剛性な状況下で、従来のモダリティ間登録指標（相互情報量など）を上回る性能を示せるか？
• RQ4 本手法は、組織像からMRIへの変換におけるぼやけやコントラスト反転といったアーチファクトをどの程度低減できるか？
• RQ5 本手法は、真値の変形場やセグメンテーションラベルを必要とせずに、教師あり登録手法と同等の性能を達成できるか？

主な発見

• Allen Human Brain Atlas データセットにおいて、SbRは相互情報量ベースの登録手法に比べ13%のランドマーク誤差低減を達成し、p値 < 0.001 であった。
• BigBrain データセットでは、cGAN に比べ23%、RoT に比べ33%のランドマーク誤差低減が達成され、両者ともに統計的に有意（p < 0.001）。
• 幾何的整合性損失を除いたアブレーションバージョン（SbR-N）は、合成アーチファクトのため性能が劣化しており、コントラスト損失の必要性を示している。
• SbRは、訓練時にセグメンテーションラベルを使用しなかったにもかかわらず、NMIw と同等の組織クラスのDiceスコアを達成しており、構造的整合性の高さを示している。
• 追加損失（SbR-G および SbR-R）を導入した拡張版では、統計的に有意な改善が得られなかったため、コアとなるSbR損失が既に最適であると考えられる。
• 定性的な結果から、染色アーチファクトや強度不均一性が存在する中でも、皮質などの複雑な構造の登録が堅牢に行われていることが示された。