[論文レビュー] Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation to Disease Detection and Localization

Md Mahfuzur Rahman Siddiquee, Zongwei Zhou+5 more|arXiv (Cornell University)|Aug 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 10

ひとこと要約

本稿では、翻訳中に健康または正常な画像コンテンツを保持するように学習する新しい生成対抗ネットワーク、Fixed-Point GAN を紹介する。アイデンティティ保持を条件付きアイデンティティ損失で強制し、敵対的損失、ドメイン分類損失、サイクル整合性損失でクロスドメイン翻訳を正則化することで、画像間翻訳および画像ラベルのみを用いた弱教師付き疾患検出・局在化において、最先端の性能を達成する。

ABSTRACT

Generative adversarial networks (GANs) have ushered in a revolution in image-to-image translation. The development and proliferation of GANs raises an interesting question: can we train a GAN to remove an object, if present, from an image while otherwise preserving the image? Specifically, can a GAN "virtually heal" anyone by turning his medical image, with an unknown health status (diseased or healthy), into a healthy one, so that diseased regions could be revealed by subtracting those two images? Such a task requires a GAN to identify a minimal subset of target pixels for domain translation, an ability that we call fixed-point translation, which no GAN is equipped with yet. Therefore, we propose a new GAN, called Fixed-Point GAN, trained by (1) supervising same-domain translation through a conditional identity loss, and (2) regularizing cross-domain translation through revised adversarial, domain classification, and cycle consistency loss. Based on fixed-point translation, we further derive a novel framework for disease detection and localization using only image-level annotation. Qualitative and quantitative evaluations demonstrate that the proposed method outperforms the state of the art in multi-domain image-to-image translation and that it surpasses predominant weakly-supervised localization methods in both disease detection and localization. Implementation is available at https://github.com/jlianglab/Fixed-Point-GAN.

研究の動機と目的

• 特定の物体（例：眼鏡、病変）を除去しつつ、他のすべての画像コンテンツを保持するように GAN をトレーニングする課題に対処すること。
• 同じドメイン内での翻訳において、健康な画像がしばしば変更または損傷を受けるという、既存の GAN の限界を克服すること。
• ピクセルレベルのバウンディングボックスやセグメンテーションマスクを必要とせず、画像ラベルのみを用いて疾患検出および局在化を可能にすること。
• 特定ドメインに依存しないスケーラブルな画像間翻訳フレームワークを構築し、ドメインペアごとに専用の生成器を必要とせずに複数のドメインに一般化すること。
• 関連のない属性（髪の色、肌の色、背景など）に影響を与えない、最小限で属性に特化した画像変換を達成すること。

提案手法

• 同じドメイン内翻訳を監視するための条件付きアイデンティティ損失を導入し、健康または正常な画像が翻訳中に変化しないように保証する。
• 再定義された敵対的損失、ドメイン分類損失、およびサイクル整合性損失を用いてクロスドメイン翻訳を正則化し、構造的および意味的整合性を維持する。
• ドメインペアごとに専用の生成器を必要とせず、1つの生成器で複数ドメインの翻訳を実行するように訓練することで、スケーラビリティを向上させる。
• 正常な画像の出力が入力と同一であるという固定点の性質を活用し、元の画像と翻訳画像の差分によって病変領域を特定する。
• 元の画像と翻訳画像の差分マップを弱教師付き局在マップとして使用し、バウンディングボックスのアノテーションなしで病変領域を特定する。
• すべての入力（病変ありまたは正常）を健康ドメインに翻訳することで、脳病変および肺塞栓症検出などの医療画像処理タスクにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 GAN を、特定の物体を除去しつつ正常な画像コンテンツを保持する最小限で属性に特化した画像変換を実行できるようにトレーニングできるか？
• RQ2 ドメインペアごとに専用の生成器を必要とせず、1つの GAN モデルが複数のドメインに一般化できるか？
• RQ3 固定点翻訳学習により、画像ラベルのみを用いて正確な疾患検出および局在化が可能になるか？
• RQ4 同じドメイン内翻訳におけるアイデンティティ保持の強制が、医療画像翻訳および異常局在化の性能にどのように向上をもたらすか？
• RQ5 元の画像と翻訳画像の差分マップが、ピクセルレベルの監視なしに、病変の正確な局在マップとしてどの程度有効に機能するか？

主な発見

• Fixed-Point GAN は、画像レベルの肺塞栓症検出で AUC 0.9668 を達成し、StarGAN (0.8832) や ResNet-50 (0.8879) を顕著に上回った。
• 病変レベルの局在化において、1体積あたり 1 つの偽陽性を維持した状態で 97.2% の感度を達成し、同じ偽陽性率で StarGAN (88.9%) や ResNet-50 (80.6%) を上回った。
• 定性的な分析では、Fixed-Point GAN は StarGAN よりも同ドメインおよびクロスドメイン翻訳中により少ないアーティファクトを生成しており、マストアイ、皮膚色の変化、背景の変更といった不自然な要素を導入していないことが確認された。
• 差分マップおよび重ね合わせ局在結果の両方で、CAM や f-AnoGAN よりも高い精度で眼鏡および病理的病変を局在化できた。
• Fixed-Point GAN は、正常な画像の同ドメイン翻訳において高い忠実度を維持しており、元の画像と翻訳画像の差が最小限に抑えられており、効果的な固定点学習が実現していることが確認された。
• バウンディングボックスやセグメンテーションアノテーションがなくても、差分マップを生成することで病変領域を正確に強調する弱教師付き局在化が可能になった。