[論文レビュー] CyTran: Cycle-Consistent Transformers for Non-Contrast to Contrast CT Translation.

Nicolae-Cătălin Ristea, Andreea-Iuliana Ionescu+5 more|arXiv (Cornell University)|Oct 12, 2021

Generative Adversarial Networks and Image Synthesis参考文献 51被引用数 12

ひとこと要約

CyTranは、ペairedデータが不要な高分解能画像翻訳を可能にする、サイクル整合性を持つトランスフォーマー型モデルを提案する。非対照CTから対照CTへの翻訳に、ハイブリッド畳み込み層とマルチヘッド自己注意機構を組み合わせ、サイクル整合性損失を用いることで、非対照CTと対照CTの間の高分解能翻訳を実現する。新規の3D三相肺CTデータセット上で最先端の性能を達成し、既存手法を上回り、下流の画像アライメント性能を向上させる。

ABSTRACT

We propose a novel approach to translate unpaired contrast computed tomography (CT) scans to non-contrast CT scans and the other way around. Solving this task has two important applications: (i) to automatically generate contrast CT scans for patients for whom injecting contrast substance is not an option, and (ii) to enhance alignment between contrast and non-contrast CT by reducing the differences induced by the contrast substance before registration. Our approach is based on cycle-consistent generative adversarial convolutional transformers, for short, CyTran. Our neural model can be trained on unpaired images, due to the integration of a cycle-consistency loss. To deal with high-resolution images, we design a hybrid architecture based on convolutional and multi-head attention layers. In addition, we introduce a novel data set, Coltea-Lung-CT-100W, containing 3D triphasic lung CT scans (with a total of 37,290 images) collected from 100 female patients. Each scan contains three phases (non-contrast, early portal venous, and late arterial), allowing us to perform experiments to compare our novel approach with state-of-the-art methods for image style transfer. Our empirical results show that CyTran outperforms all competing methods. Moreover, we show that CyTran can be employed as a preliminary step to improve a state-of-the-art medical image alignment method. We release our novel model and data set as open source at: https://github.com/ristea/cycle-transformer.

研究の動機と目的

• 対照剤が禁忌とされる臨床的応用を想定し、ペアのない非対照CTスキャンを対照CTスキャンに翻訳する手法を開発すること。
• 対照剤による引き起こされる解剖学的差異を低減し、対照CTと非対照CTスキャン間のアライメント精度を向上させること。
• ペアのない学習データを必要とせず、高分解能3D医療画像を処理できるディープラーニングモデルを設計すること。
• 非剛性画像翻訳の評価を目的とした、大規模な新規3D三相肺CTデータセットを提供すること。
• 提案された翻訳モデルが、最先端の医療画像アライメント技術の性能を向上させる前処理ステップとして機能できることを実証すること。

提案手法

• 本手法は、高分解能3DCTボリュームを効果的に処理できるように、畳み込み層とマルチヘッド自己注意機構を組み合わせたハイブリッドアーキテクチャを採用する。
• ペアのない画像分布での学習を可能にするために、サイクル整合性損失を統合し、実際の非対照CTから対照CTに翻訳し、再び元の画像に戻すと、元の画像に近い再構成が得られるように保証する。
• 生成対抗ネットワーク（GAN）ベースのフレームワークを用いて、敵対的損失を導入し、リアルな画像の詳細や質感を維持する。
• CTスキャンの異なる段階における強度およびコントラストの変動に対処するため、新規のデータ拡張および正規化戦略を適用する。
• 訓練の安定化と複数スケールでの特徴学習の向上を図るため、スキップ接続と残差ブロックをアーキテクチャに組み込む。
• 新しく導入されたColtea-Lung-CT-100Wデータセットを用い、構造的類似性や平均二乗誤差といった定量的・定性的な指標でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 ペアのない学習データを用いても、サイクル整合性を持つトランスフォーマー型モデルが、非対照CTと対照CTスキャンの間で高精細な翻訳を達成できるか？
• RQ2 提案されたハイブリッド畳み込み-トランスフォーマー型アーキテクチャは、3D医療画像において、既存手法と比較して画像品質および構造的保存性の面で優れているか？
• RQ3 CyTranは、対照CTと非対照CTスキャン間の強度および解剖学的差異をどれほど低減できるか？これにより、その後の画像アライメント性能が向上するか？
• RQ4 CyTranを前処理ステップとして用いることで、最先端の医療画像アライメント手法の性能が向上するか？
• RQ5 対照強化パターンの変動を考慮しても、多様な患者の解剖学的構造やスキャンプロトコルにわたって、モデルの汎用性はどの程度高いか？

主な発見

• 構造的類似性と主観的品質の指標で測定したところ、Coltea-Lung-CT-100Wデータセット上で、CyTranはすべての競合する最先端手法を上回る性能を示した。
• 特に血管構造や軟部組織境界において、画像の忠実性と解剖学的整合性の両面で顕著な向上が見られた。
• 前処理ステップとして用いることで、最先端の画像アライメント手法の精度が向上し、その後続の応用におけるアライメント誤差が低減された。
• サイクル整合性損失は、ペアのないデータでの学習を効果的に可能にし、アイデンティティ保存性を維持するとともに、翻訳中の分布シフトを最小限に抑えた。
• 37,290枚の3D三相肺CTスキャンからなる新規のColtea-Lung-CT-100Wデータセットは、今後の医療画像翻訳分野の研究における貴重なベンチマークを提供する。
• GitHub（https://github.com/ristea/cycle-transformer）にてモデルとデータセットをオープンソースリリースしたことで、再現性が確保され、分野のさらなる発展が促進された。