[論文レビュー] Chest X-ray Inpainting with Deep Generative Models

Ecem Sogancioglu, Hu Shi+2 more|arXiv (Cornell University)|Aug 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 6

ひとこと要約

本稿では、正常なチストレントX線の120万枚のパッチで学習された3つの深層生成モデル（コンテキストエンコーダ、セマンティック画像補填、コンテキストアテンション）を用いて、胸部X線における欠損領域の現実的な補填を提案する。生成されたパッチを元の画像から差し引くことで、異常を強調する高精細な再構成が得られ、人間の観察者が50％以上の確率で補填領域を特定できなかった。特にコンテキストアテンションモデルでは顕著であった。

ABSTRACT

Generative adversarial networks have been successfully applied to inpainting in natural images. However, the current state-of-the-art models have not yet been widely adopted in the medical imaging domain. In this paper, we investigate the performance of three recently published deep learning based inpainting models: context encoders, semantic image inpainting, and the contextual attention model, applied to chest x-rays, as the chest exam is the most commonly performed radiological procedure. We train these generative models on 1.2M 128 $ imes$ 128 patches from 60K healthy x-rays, and learn to predict the center 64 $ imes$ 64 region in each patch. We test the models on both the healthy and abnormal radiographs. We evaluate the results by visual inspection and comparing the PSNR scores. The outputs of the models are in most cases highly realistic. We show that the methods have potential to enhance and detect abnormalities. In addition, we perform a 2AFC observer study and show that an experienced human observer performs poorly in detecting inpainted regions, particularly those generated by the contextual attention model.

研究の動機と目的

• 最先端の深層生成モデルを胸部X線の医療画像補填に適用する可能性を検討すること。
• 正常画像のみで学習された生成モデルが、元の画像から差し引いた際に異常を露わにする現実的なパッチを生成できるかどうかを評価すること。
• 2AFC観察者研究を用いて、専門家が補填領域の視覚的品質と検出可能性を評価すること。
• 補填ベースの異常検出によって、臨床的画像における微細な異常を強調できるかどうかを検証すること。
• アノテーション済みの異常データを必要としない、教師なし生成モデルを医療画像処理に応用する基盤を確立すること。

提案手法

• 60,000枚の健全な胸部X線画像から抽出した120万個の128×128パッチを用いて、コンテキストエンコーダ、セマンティック画像補填、コンテキストアテンションの3つの深層生成モデルを学習した。
• 各モデルは、周囲のコンテキストから中央の64×64領域を予測するように訓練され、リアルさを向上させるために敵対的訓練が用いられた。
• 再構成品質を定量化するために、健全および異常テストパッチの両方でPSNRを用いて性能を評価した。
• 元のパッチと生成されたパッチの画素単位の差分をとることで、乖離を強調し、これが潜在的な異常に対応することを確認した。
• 経験豊富なレントゲン診断医を対象に、3つのモデルの補填領域を人間が識別できるかを評価する2AFC観察者研究を実施した。
• 正常X線の大量データセットを用いてモデルを事前学習し、微調整なしに健全および異常画像の両方に対してゼロショット推論を可能にした。

実験結果

リサーチクエスチョン

• RQ1 最新の深層生成モデルは、正常データのみで学習した場合でも、胸部X線において現実的かつコンテキストに整合した補填を生成できるか？
• RQ2 コンテキストエンコーダ、セマンティック補填、コンテキストアテンションといった異なる生成アーキテクチャは、医療画像における再構成品質とリアルさの観点でどのように比較できるか？
• RQ3 元の画像から補填パッチを差し引いた際に、どの程度の割合で異常が露わになるか。これは、異常検出の可能性を示唆する。
• RQ4 熟練したレントゲン診断医が、実画像と補填画像を識別するのはどの程度困難か。また、どのモデルが最も現実的な結果を生成するか？
• RQ5 生成モデルによる補填は、異常データを必要とせず、臨床画像における微細または隠れた異常を強調するツールとして利用可能か？

主な発見

• コンテキストアテンションモデルが最も高い視覚的リアルさを達成し、2AFC試行のうち37.03％で人間観察者が実画像を正しく特定できなかった。これは、補填パッチが実画像と区別がつかないほどであることを示している。
• セマンティック補填モデルが健全パッチで最高のPSNR（30.18 ± 3.28）を記録し、正常解剖構造の再構成忠実度が優れていた。
• 異常パッチでは、すべてのモデルでPSNRが著しく低下した。特にコンテキストアテンションモデルが26.79 ± 3.47を記録し、異常構造の再構成がより困難であることを示した。
• 元の画像と生成画像の画素単位の差分処理により、健全領域では白色ノイズが得られたが、結節などの異常構造が強調された。これは、異常検出の可能性を示している。
• 観察者研究の結果、コンテキストアテンションモデルの出力は最も識別が困難であり、37.03％の試行で正解率が偶然の水準（50％）を下回った。これは、極めて高いリアルさを示している。
• 本結果は、正常データのみで学習した生成的補填が、臨床的に妥当な再構成を可能にするとともに、残差解析によって異常を露わにできることを示しており、教師なし異常検出への応用を支持する。