[論文レビュー] CyTran: A Cycle-Consistent Transformer with Multi-Level Consistency for Non-Contrast to Contrast CT Translation

Nicolae-Cătălin Ristea, Andreea-Iuliana Ionescu+5 more|arXiv (Cornell University)|Oct 12, 2021

Brain Tumor Detection and Classification被引用数 8

ひとこと要約

CyTranは、非対照的CTから対照的CTへの翻訳を実現するサイクル整合性のあるトランスフォーマーであり、ハイブリッド畳み込み・トランスフォーマー・アーキテクチャと多段階サイクル整合性損失を用いて、高精細でアーティファクトのないCTスキャンを生成する。翻訳品質および下流の画像登録の両面で最先端の手法を上回り、人間による評価でも翻訳に伴う視覚的アーティファクトが生じないことが確認された。

ABSTRACT

We propose a novel approach to translate unpaired contrast computed tomography (CT) scans to non-contrast CT scans and the other way around. Solving this task has two important applications: (i) to automatically generate contrast CT scans for patients for whom injecting contrast substance is not an option, and (ii) to enhance the alignment between contrast and non-contrast CT by reducing the differences induced by the contrast substance before registration. Our approach is based on cycle-consistent generative adversarial convolutional transformers, for short, CyTran. Our neural model can be trained on unpaired images, due to the integration of a multi-level cycle-consistency loss. Aside from the standard cycle-consistency loss applied at the image level, we propose to apply additional cycle-consistency losses between intermediate feature representations, which enforces the model to be cycle-consistent at multiple representations levels, leading to superior results. To deal with high-resolution images, we design a hybrid architecture based on convolutional and multi-head attention layers. In addition, we introduce a novel data set, Coltea-Lung-CT-100W, containing 100 3D triphasic lung CT scans (with a total of 37,290 images) collected from 100 female patients (there is one examination per patient). Each scan contains three phases (non-contrast, early portal venous, and late arterial), allowing us to perform experiments to compare our novel approach with state-of-the-art methods for image style transfer. Our empirical results show that CyTran outperforms all competing methods. Moreover, we show that CyTran can be employed as a preliminary step to improve a state-of-the-art medical image alignment method. We release our novel model and data set as open source at https://github.com/ristea/cycle-transformer.

研究の動機と目的

• 対照剤を投与できない患者に対して、非対照的CTスキャンから対照的CTスキャンを生成する課題に対処すること。
• 対照的CTと非対照的CTスキャン間のHounsfield単位（HU）差を低減し、画像登録の正確性を向上させること。
• 解剖学的正確性を保持する、耐障害性でアーティファクトのない翻訳モデルを構築すること。
• 訓練およびベンチマーク用として、新規の大規模な三相肺CTデータセット（Coltea-Lung-CT-100W）を提供すること。
• CyTranが最先端の医療画像登録パイプラインの性能を向上させることを実証すること。

提案手法

• 高分解能3次元CTスキャンを効率的に処理できる、畳み込み層とマルチヘッド自己注意メカニズムを組み合わせたハイブリッドニューラルアーキテクチャを導入する。
• 画像レベルだけでなく、中間特徴表現に対しても整合性を強制する多段階サイクル整合性（MLCC）損失を採用する。
• 非対応データ上で学習できるサイクル整合性のある生成的敵対ネットワーク（CycleGAN風）フレームワークを用い、非対照的CTと対照的CTの間で双方向翻訳を実現する。
• ViT-V-Netを用いた再帰的カスケード型精錬戦略をCyTranと組み合わせ、段階的に翻訳品質を向上させる。
• 100名の女性患者と37,290枚の画像を含む新規3次元三相CTデータセット（Coltea-Lung-CT-100W）を活用して、訓練および評価を実施する。
• 画像登録の前処理ステップとしてCyTranモデルを統合し、HU差を低減することで、登録の適合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多段階サイクル整合性を備えたトランスフォーマー基盤のモデルは、従来のGANベース手法と比較して、非対照的CTから対照的CTへの翻訳において優れた性能を達成できるか？
• RQ2 多段階サイクル整合性損失を導入することで、医療画像翻訳における翻訳の正確性が向上し、視覚的アーティファクトが低減するか？
• RQ3 CyTranは、対照的CTと非対照的CTスキャン間のHounsfield単位（HU）差を効果的に低減し、下流の画像登録を向上させることができるか？
• RQ4 提案されたハイブリッドCNN-Transformerアーキテクチャは、モード崩壊や構造的アーティファクトを伴わずに、フル解像度の高精細CTスキャンを生成できるか？
• RQ5 登録パイプラインにCyTranを統合することで、標準の登録手法と比較して、適合精度がどの程度向上するか？

主な発見

• CyTranは、pix2pix、U-GAT-IT、CycleGAN、CWT-GAN、AttentionGANといった最先端の手法を、画像翻訳および登録タスクの両面で顕著に上回った。
• 多段階サイクル整合性（MLCC）損失は、標準のサイクル整合性損失と比較して、特徴レベルにおける構造的一致性を保つ点で優れた性能を示し、有効性を確認した。
• 人間による評価では、CyTranは翻訳過程で視覚的アーティファクトを一切生じさせない唯一の手法であることが確認され、臨床応用において重要な利点を有する。
• 再帰的カスケード型ViT-V-NetとCyTranを組み合わせたアプローチが、最高の登録性能を達成し、動脈期→非対照的翻訳では3段階、静脈期→非対照的翻訳では2段階が最適な性能を示した。
• CyTranを最先端の画像登録手法に統合することで、HUレベルの差を低減し、対照的CTと非対照的CTスキャンの正確な一致を可能にした。
• 100例の三相3次元肺CTスキャン（37,290枚の画像）を含むColtea-Lung-CT-100Wデータセットの公開により、今後の医療画像翻訳および登録分野の研究における貴重なベンチマークが提供された。