[論文レビュー] Towards generative adversarial networks as a new paradigm for radiology education

Samuel G. Finlayson, Hyunkwang Lee+2 more|arXiv (Cornell University)|Dec 1, 2018

AI in cancer detection被引用数 6

ひとこと要約

本論文では、骨折状態を条件として、高解像度（1024×1024）の仙骨レントゲン画像を合成するための条件付き生成対抗ネットワーク（cGAN）の使用を提案する。これにより、多様でラベル付きの画像データをオンデマンドで生成可能となり、放射線学教育における応用が期待される。cGANは診断に役立つ特徴を効果的に学習しており、実画像を用いた下流分類器がAUC >0.95を達成した。これは、放射線学教育分野における強力な潜在的応用を示唆している。

ABSTRACT

Medical students and radiology trainees typically view thousands of images in order to train their eye to detect the subtle visual patterns necessary for diagnosis. Nevertheless, infrastructural and legal constraints often make it difficult to access and quickly query an abundance of images with a user-specified feature set. In this paper, we use a conditional generative adversarial network (GAN) to synthesize $1024 imes1024$ pixel pelvic radiographs that can be queried with conditioning on fracture status. We demonstrate that the conditional GAN learns features that distinguish fractures from non-fractures by training a convolutional neural network exclusively on images sampled from the GAN and achieving an AUC of $>0.95$ on a held-out set of real images. We conduct additional analysis of the images sampled from the GAN and describe ongoing work to validate educational efficacy.

研究の動機と目的

• 医療教育における大規模で多様かつクエリ特化型の放射線画像データセットの入手困難という課題に対処すること。
• 実画像の利用可能性と検索可能性を制限するインfra構築および法的障壁を克服すること。
• 特定のラベル（例：骨折状態）を制御可能な高解像度のリアルな仙骨レントゲン画像を生成するデータ合成フレームワークの開発。
• GANによって生成されたデータパイプラインが学習した特徴が、下流モデルにおける堅牢な診断パターン認識を支援するかを評価すること。

提案手法

• 骨折状態（骨折あり／なし）を条件として、1024×1024の仙骨レントゲン画像を生成するための条件付き生成対抗ネットワーク（cGAN）を訓練する。
• 生成画像が指定された条件（骨折あり／なし）と整合するように、条件付きディスクラミネーターを用いることで、特徴の正確性を向上させる。
• 訓練済みcGANから多数の合成画像をサンプリングし、下流モデルの学習に用いる。
• 別個の畳み込みニューラルネットワーク（CNN）を、GANによって生成された画像のみで訓練し、骨折状態を分類する。
• 訓練済みCNNを、保留された実際の仙骨レントゲン画像セットで評価し、一般化性能と診断的関連性を評価する。
• 生成画像のリアルさと特徴の一貫性を評価するため、定性的および定量的分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANは、骨折と非骨折を区別する診断的に重要な特徴を捉えた仙骨レントゲン画像を生成できるか？
• RQ2 GANによって生成された画像から学習した特徴は、未観測の実画像に対して、どの程度実世界の診断性能に伝達されるか？
• RQ3 実際のアノテート済みデータに依存せずに、生成データが診断分類器の有効な訓練に寄与できるか？
• RQ4 GANによって生成された画像の視覚的および構造的特徴は、実際の仙骨レントゲン画像と比較して、診断的に妥当性があると見なせるか？

主な発見

• 条件付きGANは、視覚的に妥当で解剖学的に整合性のある高解像度（1024×1024）の仙骨レントゲン画像を効果的に生成した。
• GANによって生成された画像のみで訓練された分類器が、保留された実際の仙骨レントゲン画像セットでAUC >0.95を達成した。
• 高いAUCは、GANが表面的な画像パターンではなく、骨折状態に関連する診断的特徴を学習したことを示しており、その意義が大きい。
• 生成画像の定性的分析から、合理的な骨折の形態と解剖学的構造が再現されており、教育的用途への応用可能性が裏付けられた。
• 結果から、GANによって生成されたデータが、放射線学における診断パターン認識の訓練の代替手段として有効である可能性が示された。
• 現在の研究では、これらの合成画像が実際の訓練環境で教育的効果を有するかどうかの検証を進めている。