[논문 리뷰] Synthetic Sample Selection via Reinforcement Learning

Jiarong Ye, Yuan Xue외 5명|arXiv (Cornell University)|2020. 08. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 5

한 줄 요약

이 논문은 조직병리학 영상 인식에서 데이터 증강을 위한 고품질 합성 의료 영상 선택을 위해 강화학습(RL) 기반 방법을 제안한다. 검증 정확도를 보상으로 사용해 프록시멀 정책 최적화(PPO)로 훈련된 트랜스포머 기반 컨트롤러를 사용하여 유의미하고 혼란을 유발하지 않는 합성 샘플을 선택함으로써, 기준 방법 대비 자궁경부 암 데이터셋에서 8.1% 향상되고 림프절 데이터셋에서 2.3% 향상된 분류 정확도를 달성한다.

ABSTRACT

Synthesizing realistic medical images provides a feasible solution to the shortage of training data in deep learning based medical image recognition systems. However, the quality control of synthetic images for data augmentation purposes is under-investigated, and some of the generated images are not realistic and may contain misleading features that distort data distribution when mixed with real images. Thus, the effectiveness of those synthetic images in medical image recognition systems cannot be guaranteed when they are being added randomly without quality assurance. In this work, we propose a reinforcement learning (RL) based synthetic sample selection method that learns to choose synthetic images containing reliable and informative features. A transformer based controller is trained via proximal policy optimization (PPO) using the validation classification accuracy as the reward. The selected images are mixed with the original training data for improved training of image recognition systems. To validate our method, we take the pathology image recognition as an example and conduct extensive experiments on two histopathology image datasets. In experiments on a cervical dataset and a lymph node dataset, the image classification performance is improved by 8.1% and 2.3%, respectively, when utilizing high-quality synthetic images selected by our RL framework. Our proposed synthetic sample selection method is general and has great potential to boost the performance of various medical image recognition systems given limited annotation.

연구 동기 및 목표

• 저품질 영상이 포함될 경우 데이터 분포가 왜곡될 수 있는 합성 의료 영상 증강의 품질 제어 부족 문제를 해결하기 위해.
• 데이터 부족 상황에서 신뢰할 수 있는 합성 샘플만 선택하여 딥러닝 모델의 의료 영상 인식 성능을 향상시키기 위해.
• 하나의 하향류 작업 성능에서 최적의 선택 정책을 학습함으로써 수작업으로 만든 지표의 한계를 극복하기 위해.
• 제한된 애너테이션을 가진 다양한 의료 영상 작업에 적용 가능한 일반화 가능한 학습 기반 프레임워크를 제공하기 위해.

제안 방법

• 선택을 위한 합성 조직병리학 패치 풀을 생성하기 위해 조건부 GAN(HistoGAN)을 사용한다.
• 실제 훈련 영상에서 특징을 추출하기 위해 ResNet34 백본을 사용하며, 이를 RL 컨트롤러의 입력 상태로 활용한다.
• 프록시멀 정책 최적화(PPO)를 사용하여 이진 결정(선택/기각)을 내리는 트랜스포머 기반 컨트롤러를 학습한다.
• 하향류 성능 최적화를 위한 엔드 투 엔드 학습을 가능하게 하기 위해 검증 분류 정확도를 보상 신호로 사용하여 RL 에이전트를 훈련한다.
• 선택적 증강 파이프라인에 적용되어, 실제 데이터와 혼합되는 것은 오직 선택된 합성 영상 뿐이다.
• 제거 실험에서는 다양한 컨트롤러 아키텍처(GRU, GRU-Attn, Transformer)와 정책 알고리즘(REINFORCE, PPO)를 비교하여 트랜스포머와 PPO의 선택을 검증한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 수작업 지표보다 하향류 분류 성능 향상에 더 효과적으로 합성 의료 영상을 선택할 수 있는가?
• RQ2 학습 기반 방법과 중심점 거리 기반 지표를 사용할 경우, 선택된 합성 샘플의 분포는 어떻게 다를까?
• RQ3 트랜스포머 기반 컨트롤러와 PPO 알고리즘의 조합이 합성 샘플 선택 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 제한된 애너테이션을 가진 다양한 조직병리학 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 RL 기반 방법은 기준 방법 대비 자궁경부 조직병리학 데이터셋에서 8.1% 향상되고 림프절 데이터셋에서 2.3% 향상된 분류 정확도를 달성했다.
• 모든 평가 지표에서 전통적 데이터 증강, 직접 GAN 증강, 지표 기반 선택(예: 중심점 거리)보다 성능이 뛰어났다.
• 히스토GRAM 분석 결과, RL 기반 방법은 클래스 중심점까지의 특징 거리 범위가 넓은 영역에서 샘플을 선택함을 보여주어 더 균형 잡히고 일반화 가능한 선택 전략임을 시사한다.
• 제거 실험을 통해 트랜스포머 컨트롤러와 PPO 알고리즘의 조합가 가장 높은 성능을 기록했으며, GRU 기반 모델과 REINFORCE보다 뛰어났다.
• 선택된 합성 샘플은 AUC, 민감도, 특이도 점수 향상으로 인해 더 많은 의미론적 관련 특징을 포함하고 있음이 입증되었다.
• 이 프레임워크는 일반화 가능성과 다른 의료 영상 작업 및 활성 학습 시나리오로의 확장 가능성도 보여주었다.