[論文レビュー] Continuous Conversion of CT Kernel using Switchable CycleGAN with AdaIN

Serin Yang, Eung Yeop Kim+1 more|arXiv (Cornell University)|Nov 26, 2020

Seismic Imaging and Inversion Techniques参考文献 28被引用数 7

ひとこと要約

本稿では、アダプティブインスタンス正規化（AdaIN）を用いた切り替え可能サイクルGANを提案し、CTのカーネルタイプ間の教師なし連続変換を実現する。鋭いカーネルからソフトカーネル、逆にそれらの間の補間を含めた高精度な変換が可能であり、対応データが不要なため、臨床的用途に適した中間カーネル画像の生成が可能となる。

ABSTRACT

X-ray computed tomography (CT) uses different filter kernels to highlight different structures. Since the raw sinogram data is usually removed after the reconstruction, in case there are additional need for other types of kernel images that were not previously generated, the patient may need to be scanned again. Accordingly, there exists increasing demand for post-hoc image domain conversion from one kernel to another without sacrificing the image quality. In this paper, we propose a novel unsupervised continuous kernel conversion method using cycle-consistent generative adversarial network (cycleGAN) with adaptive instance normalization (AdaIN). Even without paired training data, not only can our network translate the images between two different kernels, but it can also convert images along the interpolation path between the two kernel domains. We also show that the quality of generated images can be further improved if intermediate kernel domain images are available. Experimental results confirm that our method not only enables accurate kernel conversion that is comparable to supervised learning methods, but also generates intermediate kernel images in the unseen domain that are useful for hypopharyngeal cancer diagnosis.

研究の動機と目的

• 生のシノグラムデータが入手不可な状況において、後処理で代替のCTカーネル画像を生成する臨床的ニーズに対応する。
• 対応データを必要としない教師なし学習アプローチを用いて、カーネル変換における対応データの制限を克服する。
• 元来取得されていない中間カーネルタイプを生成可能な、カーネルドメイン間の連続的補間を可能にする。
• 分割AdaINコードジェネレータを用いて中間カーネルドメインの画像を学習中に有効活用することで、一般化性能と画像品質を向上させる。
• サイクル整合性とアイデンティティ損失制約を適用することで、構造的正確性を保ち、アーチファクトを低減する。

提案手法

• メモリオーバーヘッドを低減できる1つの条件付きジェネレータを用いた切り替え可能サイクルGANアーキテクチャを採用し、AdaINを用いて双方向のカーネル変換を実現する。
• 複数のカーネルドメインの潜在コードでジェネレータを独立に条件づける分割AdaINコードジェネレータを導入し、学習中に中間カーネル画像を効果的に活用できるようにする。
• 構造的正確性を維持し、誤った解剖的特徴の生成を防ぐために、サイクル整合性損失とアイデンティティ損失を用いる。
• マルチドメイン学習において自己整合性損失を適用し、訓練の安定化と生成画像のアーチファクト低減を図る。
• 対応データに依存せず、異なるカーネルドメインからの未対の実画像のみを用いて、エンドツーエンドでモデルを学習する。
• AdaINスタイルコードの補間により、カーネルドメイン間の最適輸送経路に沿った推論を可能とし、カーネルタイプ間で滑らかな遷移を生成する。

Figure 1 : (a) Vanilla cycleGAN for conversion of two different kernels. (b) Switchable cycleGAN for two domains, and (c) switchable cycleGAN with split AdaIN for three domains.

実験結果

リサーチクエスチョン

• RQ1 教師なしディープラーニングモデルは、対応データがなくても高精度なCTカーネル変換を達成できるか？
• RQ2 AdaINを用いた1つのジェネレータが、未観測の中間カーネルタイプも含めた複数のCTカーネルドメイン間で連続的補間を可能にするか？
• RQ3 学習中に中間カーネルドメインの画像を組み込むことで、補間されたカーネル画像の品質と現実性はどのように向上するか？
• RQ4 自己整合性損失は、マルチドメインサイクルGANの訓練を安定化させ、アーチファクトを低減する役割を果たすか？
• RQ5 標準GANと比較して、提案手法は解剖的構造をどれほど正確に保持し、誤った特徴の生成を回避できるか？

主な発見

• PolyPhase U-Netを用いた下垂体癌データセットにおいて、本手法はPSNR 31.6671、SSIM 0.8922を達成し、U-Netを用いた標準サイクルGAN（PSNR: 31.2706、SSIM: 0.8887）を上回る性能を示した。
• 学習中に中間カーネル画像を組み込むことで、すべてのテストデータセットにおいて補間性能が顕著に向上し、PSNRおよびSSIM値が上昇した。
• 自己整合性損失はアーチファクトの抑制に効果的である：損失を適用しない場合、骨の縁や画像背景に著しいアーチファクトが観察されたが、損失を適用することでこれらが消失した。
• 最適輸送経路に沿って中間カーネル画像が現実的に生成され、鋭いカーネルやソフトカーネルのいずれとも明確に見えない構造の可視化が可能となった。
• 改善は見られたが、β=0の状態では脳-骨界面付近でピクセル値の過剰応答や頼子骨のエッジ強調といった微小なアーチファクトが依然として残存していた。
• アイデンティティ損失とサイクル整合性損失により、誤った構造の生成が効果的に防止された。標準GANとは異なり、フレームワークの堅牢性が確認された。

Figure 2 : Generator architecture in two-domain cycleGAN with one AdaIN code generator.