[論文レビュー] Synthetic Sample Selection via Reinforcement Learning

Jiarong Ye, Yuan Xue+5 more|arXiv (Cornell University)|Aug 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 5

ひとこと要約

本論文は、ヒストパスロジー画像認識におけるデータ拡張のための高品質な合成医療画像を選択する強化学習（RL）ベースの手法を提案する。バリエーション精度を報酬として使用するプロキシマルポリシーオプティマイゼーション（PPO）で訓練されたトランスフォーマー基盤のコントローラーを用い、情報量が多く、混乱を引き起こさない合成サンプルを選択する。この手法により、頸がんデータセットではベースライン手法と比較して分類精度が8.1%向上し、リンパ節データセットでは2.3%向上した。

ABSTRACT

Synthesizing realistic medical images provides a feasible solution to the shortage of training data in deep learning based medical image recognition systems. However, the quality control of synthetic images for data augmentation purposes is under-investigated, and some of the generated images are not realistic and may contain misleading features that distort data distribution when mixed with real images. Thus, the effectiveness of those synthetic images in medical image recognition systems cannot be guaranteed when they are being added randomly without quality assurance. In this work, we propose a reinforcement learning (RL) based synthetic sample selection method that learns to choose synthetic images containing reliable and informative features. A transformer based controller is trained via proximal policy optimization (PPO) using the validation classification accuracy as the reward. The selected images are mixed with the original training data for improved training of image recognition systems. To validate our method, we take the pathology image recognition as an example and conduct extensive experiments on two histopathology image datasets. In experiments on a cervical dataset and a lymph node dataset, the image classification performance is improved by 8.1% and 2.3%, respectively, when utilizing high-quality synthetic images selected by our RL framework. Our proposed synthetic sample selection method is general and has great potential to boost the performance of various medical image recognition systems given limited annotation.

研究の動機と目的

• 低品質な画像が含まれることでデータ分布が歪む可能性がある、合成医療画像拡張における品質管理の欠如に対処すること。
• データスパarsity下で、最も信頼性の高い合成サンプルのみを選択することで、深層学習モデルの医療画像認識性能を向上させること。
• 下流タスクのパフォーマンスから最適な選択ポリシーを学習することで、手作業で設計された指標の限界を乗り越えること。
• 限られたアノテーションを伴うさまざまな医療画像処理タスクに適用可能な汎用的で学習ベースのフレームワークを提供すること。

提案手法

• 選択のための合成ヒストパスロジー画素プールを生成するために、条件付きGAN（HistoGAN）が使用される。
• 実際の訓練画像からの特徴量はResNet34バックボーンによって抽出され、これがRLコントローラーの入力状態として用いられる。
• プロキシマルポリシーオプティマイゼーション（PPO）を用いて、合成サンプルに対して二値の意思決定（選択／破棄）を行うトランスフォーマー基盤のコントローラーが学習される。
• RLエージェントはバリエーション分類精度を報酬信号として使用し、下流タスクのパフォーマンスに最適化されたエンドツーエンドのサンプル選択を可能にする。
• フレームワークは、選択された合成画像のみを実データと混合して訓練に使用する、選択的拡張パイプラインに適用される。
• アブレーションスタディでは、異なるコントローラー構造（GRU、GRU-Attn、Transformer）とポリシー最適化アルゴリズム（REINFORCE、PPO）の比較が行われ、TransformerとPPOの選択が妥当であることが検証された。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、手作業で設計された指標よりも、下流分類性能を向上させる合成医療画像をより効果的に選択できるか？
• RQ2 学習ベースの手法とクラスタ中心からの距離に基づく指標を用いた場合とで、選択された合成サンプルの分布にどのような差が生じるか？
• RQ3 トランスフォーマー基盤のコントローラーとPPOアルゴリズムの組み合わせが、合成サンプル選択のパフォーマンスに与える影響は何か？
• RQ4 提案手法は、限られたアノテーションを伴うさまざまなヒストパスロジー画像データセットに一般化可能か？

主な発見

• 提案されたRLベースの手法により、頸がんヒストパスロジー画像データセットではベースラインと比較して分類精度が8.1%向上し、リンパ節データセットでは2.3%向上した。
• すべての評価指標において、従来のデータ拡張、直接的なGAN拡張、および指標ベースの選択（例：クラスタ中心からの距離）を上回った。
• ヒストограм分析の結果、RLベースの手法は、クラスの重心からの特徴距離の広い範囲にわたってサンプルを選択していることが示され、よりバランスの取れて一般化可能な選択戦略であると考えられる。
• アブレーションスタディにより、トランスフォーマー型コントローラーとPPOアルゴリズムの組み合わせが最良のパフォーマンスを達成しており、GRUベースのモデルやREINFORCEよりも優れていることが確認された。
• 選択された合成サンプルには、AUC、感度、特異度スコアの向上が見られたことから、より意味的に関連性の高い特徴を含んでいると判明した。
• このフレームワークは一般化可能であり、他の医療画像処理タスクやアクティブラーニングのシナリオへの応用可能性を示している。