[論文レビュー] GAN Inversion for Data Augmentation to Improve Colonoscopy Lesion Classification

Mayank Golhar, Taylor L. Bobrow+2 more|arXiv (Cornell University)|May 4, 2022

AI in cancer detection被引用数 4

ひとこと要約

本稿では、1つの事前学習済みStyleGAN-ADAモデルを用いて、潜在空間ベクトルの操作によるスタイル変換（白色光画像から狭帯域画像へ）と病変サイズの補間を実行することで、合成画像を生成するGAN逆推定ベースのデータ拡張手法を提案する。この手法により、生成モデルの再学習を必要とせず、公的データセットからの多様でラベル保持型の拡張が可能となり、ポリープ分類精度がベースライン比最大6%向上する。

ABSTRACT

A major challenge in applying deep learning to medical imaging is the paucity of annotated data. This study demonstrates that synthetic colonoscopy images generated by Generative Adversarial Network (GAN) inversion can be used as training data to improve the lesion classification performance of deep learning models. This approach inverts pairs of images with the same label to a semantically rich & disentangled latent space and manipulates latent representations to produce new synthetic images with the same label. We perform image modality translation (style transfer) between white light and narrowband imaging (NBI). We also generate realistic-looking synthetic lesion images by interpolating between original training images to increase the variety of lesion shapes in the training dataset. We show that these approaches outperform comparative colonoscopy data augmentation techniques without the need to re-train multiple generative models. This approach also leverages information from datasets that may not have been designed for the specific colonoscopy downstream task. E.g. using a bowel prep grading dataset for a polyp classification task. Our experiments show this approach can perform multiple colonoscopy data augmentations, which improve the downstream polyp classification performance over baseline and comparison methods by up to 6%.

研究の動機と目的

• ポリープ分類のための深層学習モデルを学習する際の、ラベル付きコロノスコピー画像の不足という課題に対処すること。
• コロノスコピー画像のテスト分布をカバーできない伝統的なデータ拡張技術の限界を克服すること。
• 各タスクごとに再学習を必要としない、1つのGANモデルを用いた効率的でマルチタスクのデータ拡張を実現すること。
• 公的コロノスコピー画像データセットを活用し、内部の学習データに多様な画像モodalitiesと病変特徴を豊かめること。
• 潜在空間の分離された操作を活用して、ポリープ分類モデルのロバスト性と性能を向上させること。

提案手法

• 多様な公的コロノスコピー画像データセットを用いてStyleGAN-ADAジェネレータを学習し、画像モダリティ、病変形態、患者固有の特徴を符号化する豊富で分離された潜在空間を学習すること。
• 実際のコロノスコピー画像をStyleGAN潜在空間に逆推定するエンコーダー（e4e）を学習し、画像再構成と潜在空間の操作を可能にすること。
• 元の画像クラスラベルを保持したまま、潜在コードの編集によって白色光画像（WLI）と狭帯域画像（NBI）間のドメイン変換を実行すること。
• 同じクラスおよびモダリティの2つの実画像間の潜在空間における線形補間を用いて、進行する病変サイズの合成画像を生成すること。
• 元の画像に加え、逆推定された画像、翻訳済み画像、補間された画像を含む拡張済み学習データを用いて、ポリープ分類モデルを再学習すること。
• 同じ事前学習済みGANモデルを、例えばスタイル変換や補間といった複数の拡張タスクに適用することで、各タスクごとの別々のモデル学習の必要性を排除すること。

実験結果

リサーチクエスチョン

• RQ1 GAN逆推定を用いて、現実的でラベル保持型の合成コロノスコピー画像を生成し、データ拡張に利用できるか？
• RQ2 標準的なデータ拡張法やCycleGANと比較して、GAN逆推定ベースの拡張はポリープ分類性能を向上させるか？
• RQ3 1つの事前学習済みGANモデルが、モダリティ変換や病変サイズ補間といった、コロノスコピー固有の複数のタイプのデータ拡張を実行できるか？
• RQ4 潜在空間における補間が、モデルの一般化性能と意思決定境界の滑らかさをどの程度向上させるか？
• RQ5 公的コロノスコピー画像データセットを活用することで、ポリープ分類などの下流タスクのための内部データセットを強化できるか？

主な発見

• 提案手法は、全学習セットにおいてベースライン比6%のポリープ分類精度向上を達成し、NBIのみのサブセットでは4.6%の向上を示した。
• CycleGANと比較して3.3%の精度向上を示し、入力1枚あたり複数枚の画像を生成できる点により、ドメイン変換の性能が優れていることが実証された。
• 入力1枚あたり5枚のWLIおよび5枚のNBI画像へのドメイン変換により、ベースライン比2.9%の精度向上を達成し、CycleGAN比2%の向上を示した。
• 補間ベースの拡張により、NBIドメインでは2.8%、WLIドメインでは1.1%の精度向上を達成し、NBIデータセットが小さい場合に顕著な向上が得られた。
• 補間された画像により、分類器はより密度が高く連続的な病変サイズの多様体にさらされ、意思決定境界が滑らかになり、ロバスト性が向上した。
• 1つの事前学習済みGANモデルのみを用いて、多様でラベル保持型の拡張が可能となり、各タスクごとに複数の生成モデルを学習する必要が大幅に削減された。