[論文レビュー] Capturing Variabilities from Computed Tomography Images with Generative Adversarial Networks

Umair Javaid, John A. Lee|arXiv (Cornell University)|May 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 3

ひとこと要約

本論文は、低解像度入力（40×40）からリアルな2次元CT画像を生成するシンプルで教師なしのGANベースのフレームワークを提案する。この手法は、グローバルおよびローカルなCT画像のばらつきを捉え、アーキテクチャの変更なしに高解像度へのスケーリングが可能であり、データが乏しい医療画像分野における自動的で生成的なデータ拡張の概念実証を示している。

ABSTRACT

With the advent of Deep Learning (DL) techniques, especially Generative Adversarial Networks (GANs), data augmentation and generation are quickly evolving domains that have raised much interest recently. However, the DL techniques are data demanding and since, medical data is not easily accessible, they suffer from data insufficiency. To deal with this limitation, different data augmentation techniques are used. Here, we propose a novel unsupervised data-driven approach for data augmentation that can generate 2D Computed Tomography (CT) images using a simple GAN. The generated CT images have good global and local features of a real CT image and can be used to augment the training datasets for effective learning. In this proof-of-concept study, we show that our proposed solution using GANs is able to capture some of the global and local CT variabilities. Our network is able to generate visually realistic CT images and we aim to further enhance its output by scaling it to a higher resolution and potentially from 2D to 3D.

研究の動機と目的

• プライバシー制約やアノテーション制約のため、特にCTスキャンにおいてデータ不足の問題に対処すること。
• 深層学習モデルのトレーニングを改善するために、リアルなCT画像を生成する自動的で教師なしのデータ拡張技術を開発すること。
• 低解像度入力から複雑なCT画像特徴を学習・再現できるシンプルなGANの有効性を実証すること。
• 再トレーニングやパラメータ調整なしに、GANフレームワークを高解像度にスケーリングできることを保証すること。
• 将来的な3次元CT画像生成および医療画像セグメンテーションパイプラインへの統合の基盤を築くこと。

提案手法

• 標準の交差エントロピー損失関数を用いて、生成器と識別器を持つ条件付きGANを訓練する。
• 100次元のノイズベクトルを40×40×3出力にアップサンプリングするため、6層の逆畳み込み層とバッチ正則化を備えた完全畳み込み型生成器を採用する。
• 4層の畳み込み層、ドロップアウト、2つの全結合層を備えた識別器を実装し、LeakyReLUおよびSigmoid活性化関数を用いる。
• トレーニング用に、元の512×512 CT画像を40×40にダウンサンプリングし、構造的および強度的特徴を保持する。
• RMSPropを最適化手法として採用し、識別器用に0.0001、生成器用に0.0002の学習率を設定し、L2重み正則化を適用する。
• 同じアーキテクチャとハイパーパrameterを再利用することで、変更なしに64×64画像の生成が可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 シンプルなGANアーキテクチャは、低解像度入力からリアルな2次元CT画像を効果的に学習・生成できるか？
• RQ2 生成されたCT画像は、実際のCTスキャンのグローバルおよびローカルな解剖学的特徴をどの程度保持できるか？
• RQ3 アーキテクチャの変更なしに、この提案されたGANフレームワークは高解像度にスケーリングされた場合でも性能と視覚的品質を維持できるか？
• RQ4 最適化手法の選択（RMSProp 対 ADAM）は、生成されたCT画像の品質および多様性にどのように影響するか？
• RQ5 このGANベースのアプローチは、医療画像の深層学習タスクにおける実用的で自動化されたデータ拡張手法として有効であるか？

主な発見

• GANは40×40の低解像度入力から、グローバルおよびローカルな画像構造を捉えた視覚的に現実的な2次元CT画像を効果的に生成した。
• 30,000エポック（単一のGTX 1070 GPUで1時間）の間に安定したトレーニングと高品質な生成が達成された。
• ハイパーパramータやアーキテクチャの変更なしに、64×64解像度へのスケーリングが可能であり、画像品質が維持された。
• RMSPropは、定性的な比較でADAMを上回り、よりシャープでリアルなCT画像を生成した。
• 100次元のノイズベクトルの使用により、多様かつ現実的な画像生成が可能であり、有効な潜在空間探索が実現した。
• 本手法は、GANを用いて低解像度入力から完全な2次元CT画像を生成する最初の知られている試みであり、3次元への応用が可能である。