[論文レビュー] Cross-Domain Medical Image Translation by Shared Latent Gaussian Mixture Model

Yingying Zhu, Youbao Tang+5 more|arXiv (Cornell University)|Jul 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 4

ひとこと要約

本稿では、非対照的CTから対照的CTへの翻訳中に微細な解剖学的構造を保持するため、ガウス・ミックス・モデルからの共有潜在変数を用いたパッチベースのクロスドメイン医療画像翻訳手法を提案する。単一のガウス分布ではなくガウス混合モデルで局所的画像パッチをモデル化することにより、石灰化プラークや膵臓のような微細構造の保持が著しく向上し、パッチおよび膵臓のセグメンテーション精度において、CycleGAN や UNIT を上回る結果を得た。

ABSTRACT

Current deep learning based segmentation models often generalize poorly between domains due to insufficient training data. In real-world clinical applications, cross-domain image analysis tools are in high demand since medical images from different domains are often needed to achieve a precise diagnosis. An important example in radiology is generalizing from non-contrast CT to contrast enhanced CTs. Contrast enhanced CT scans at different phases are used to enhance certain pathologies or organs. Many existing cross-domain image-to-image translation models have been shown to improve cross-domain segmentation of large organs. However, such models lack the ability to preserve fine structures during the translation process, which is significant for many clinical applications, such as segmenting small calcified plaques in the aorta and pelvic arteries. In order to preserve fine structures during medical image translation, we propose a patch-based model using shared latent variables from a Gaussian mixture model. We compare our image translation framework to several state-of-the-art methods on cross-domain image translation and show our model does a better job preserving fine structures. The superior performance of our model is verified by performing two tasks with the translated images - detection and segmentation of aortic plaques and pancreas segmentation. We expect the utility of our framework will extend to other problems beyond segmentation due to the improved quality of the generated images and enhanced ability to preserve small structures.

研究の動機と目的

• ラベル付きデータが限られる医療画像ドメイン間でのディープラーニングセグメンテーションモデルの一般化性能の低さを解決すること。
• 非対照的CTから対照的CTへの翻訳において、石灰化プラークや小器官のような微細な解剖学的構造の保持を向上させること。
• ペア化されていない画像を前提とした手法を開発し、実臨床現場でペアデータが稀である状況においても実用的応用が可能になるようにすること。
• 非対照的CTにおけるセグメンテーション性能を、高精度な合成対照的CT画像の生成によって向上させること。

提案手法

• 本手法はパッチベースのアプローチを採用し、非対照的CTおよび対照的CTスキャンから32×32の小さな画像パッチを抽出して局所的画像統計をモデル化する。
• 単一のガウス分布ではなく、ガウス・ミックス・モデル（GMM）を用いて共有潜在空間をモデル化し、画像パッチ内の複数の局所クラスタを捉える。
• 共有成分を有する変分オートエンコーダーを用いてGMMに基づく潜在空間を学習し、ドメインに依存しない表現学習を実現する。
• 画像翻訳は、共有GMM構造の潜在空間を介して1つのドメインのパッチを他ドメインにマッピングすることで実行する。
• 生成敵対的損失およびサイクル整合性損失を用いて、エンドツーエンドでモデルを訓練し、現実的かつ一貫性のある翻訳を保証する。
• 本フレームワークは、対照的CTから合成非対照的CTを生成するために適用され、その画像はセグメンテーションタスクの訓練データ増強に用いられる。

実験結果

リサーチクエスチョン

• RQ1 ガウス・ミックス・モデルでモデル化された共有潜在空間は、単一のガウス分布と比較して、クロスドメイン医療画像翻訳において微細な解剖学的構造をより良く保持できるか？
• RQ2 提案されたパッチベースのGMMモデルは、大動脈および骨盤動脈における石灰化プラークのセグメンテーション性能を向上させることができるか？
• RQ3 CycleGAN や UNIT といった最先端モデルと比較して、GMMベースの翻訳手法はCT画像翻訳における構造的詳細の保持に優れているか？
• RQ4 本手法で生成された合成画像を訓練に用いることで、非対照的CTスキャンにおけるセグメンテーション精度はどの程度向上するか？
• RQ5 本手法は、低対比または非対照的画像ドメインにおける膵臓セグメンテーションなどの他のセグメンテーションタスクにも一般化可能か？

主な発見

• 非対照的CTにおける大動脈プラークセグメンテーションにおいて、本手法はDiceスコア0.734 ± 0.136を達成し、CycleGAN（0.728 ± 0.154）およびUNIT（0.731 ± 0.142）を上回った。
• 膵臓セグメンテーションにおいて、本手法は合成非対照的CTを用いた学習でベースラインと比較してDiceスコアを0.08以上向上させ、誤検出ピクセル数が5,000以上減少した。
• 非対照的CTにおけるプラークセグメンテーションにおいて、本手法はベースラインと比較して精度と再現率の低下をそれぞれ1.5%以上、4%以上に抑えた。
• 合成非対照的画像を訓練に用いた場合、対照的CTにおけるセグメンテーション性能も向上し、本手法は全手法の中で最高のDiceスコアを示した。
• 視覚的確認により、CycleGAN や UNIT と比較して石灰化プラークのぼやけが著しく減少していることから、本手法は微細構造の保持に優れていることが示された。
• 本手法はプラークおよび膵臓セグメンテーションの両タスクで最先端の性能を達成し、クロスドメイン医療画像解析における高品質な合成画像生成の可能性を裏付けた。