[논문 리뷰] Deep reinforcement learning to detect brain lesions on MRI: a proof-of-concept application of reinforcement learning to medical images

Joseph N. Stember, Hrithwik Shalu|arXiv (Cornell University)|2020. 08. 06.

Brain Tumor Detection and Classification참고 문헌 19인용 수 6

한 줄 요약

이 연구는 희소 보상을 사용하여 70개의 표준화된 2차원 MRI 슬라이스만을 이용해 딥 Q네트워크를 훈련시켜 뇌 병변을 탐지하기 위한 딥 강화학습(DRL) 방법을 제안한다. 이 방법은 30장의 이미지로 구성된 테스트 세트에서 병변 국소화 정확도가 85%에 도달했으며, 이는 감독 학습 기반의 키포인트 탐지 네트워크가 약 7%에 불과한 점수를 기록한 것과 비교해 뚜렷하게 뛰어나, DRL이 의료 영상 AI에서 데이터 부족성과 일반화 문제를 극복할 잠재력을 보여준다.

ABSTRACT

Purpose: AI in radiology is hindered chiefly by: 1) Requiring large annotated data sets. 2) Non-generalizability that limits deployment to new scanners / institutions. And 3) Inadequate explainability and interpretability. We believe that reinforcement learning can address all three shortcomings, with robust and intuitive algorithms trainable on small datasets. To the best of our knowledge, reinforcement learning has not been directly applied to computer vision tasks for radiological images. In this proof-of-principle work, we train a deep reinforcement learning network to predict brain tumor location. Materials and Methods: Using the BraTS brain tumor imaging database, we trained a deep Q network on 70 post-contrast T1-weighted 2D image slices. We did so in concert with image exploration, with rewards and punishments designed to localize lesions. To compare with supervised deep learning, we trained a keypoint detection convolutional neural network on the same 70 images. We applied both approaches to a separate 30 image testing set. Results: Reinforcement learning predictions consistently improved during training, whereas those of supervised deep learning quickly diverged. Reinforcement learning predicted testing set lesion locations with 85% accuracy, compared to roughly 7% accuracy for the supervised deep network. Conclusion: Reinforcement learning predicted lesions with high accuracy, which is unprecedented for such a small training set. We believe that reinforcement learning can propel radiology AI well past the inherent limitations of supervised deep learning, with more clinician-driven research and finally toward true clinical applicability.

연구 동기 및 목표

• 의료 영상 분야에서 감독 학습 기반의 딥러닝 기술이 겪는 한계를 해결하기 위해, 대규모 표준화된 데이터셋에 의존하는 것, 다양한 스캐너/기관 간 일반화 능력 부족, 낮은 해석 가능성 등의 문제를 다루고자 한다.
• 강화학습(RL)이 의료 영상에서 강건하고 데이터 효율적이며 임상적으로 해석 가능한 병변 탐지 시스템을 가능하게 할 수 있는지 탐색하고자 한다.
• 뇌 종양 국소화를 위한 70장의 대조 증강 T1-강화 MRI 슬라이스로 구성된 소규모 데이터셋에서 딥 Q네트워크를 훈련시키는 것이 가능한지 평가하고자 한다.
• 동일한 소규모 데이터셋을 사용하여 DRL과 감독 학습 기반의 키포인트 탐지 성능 및 훈련 안정성 간의 비교를 수행하고자 한다.
• 강화학습이 제한된 데이터로도 높은 정확도의 병변 탐지 성능을 달성할 수 있음을 입증함으로써, 방사선 영상 분야에서 더 임상적으로 적용 가능한 AI의 길을 열고자 한다.

제안 방법

• 에이전트가 2차원 MRI 슬라이스를 탐색하여 뇌 병변을 찾는 데 사용된 커스터마이즈된 환경에서 딥 Q네트워크(DQN)를 훈련시켰다.
• 에이전트는 진짜 병변 위치에 가까워질수록 보상을 받는 밀도 높은 희소 보상 구조를 통해 정확한 국소화를 유도했다.
• 훈련 과정에서는 에psilon-그리디 전략을 사용한 탐색과 경험 재생, 타겟 네트워크를 통한 Q값 갱신을 통해 학습 안정성을 향상시켰다.
• 동일한 70장의 훈련 이미지를 사용하여 감독 학습 기반의 키포인트 탐지 컨볼루션 신경망을 훈련시켜 직접 비교하였다.
• 테스트는 별도의 30장의 이미지 세트에서 수행되었으며, 병변 예측 정확도는 예측값이 진짜 병변 위치로부터 정의된 거리 이내에 포함된 비율로 측정되었다.
• 보상 함수는 잘못된 위치에 대한 벌점과 병변에 가까워질수록 보상을 주는 방식으로 설계되어, 에이전트가 최적의 탐색 및 국소화 전략을 학습할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 딥 강화학습이 최소한의 표준화된 데이터로도 뇌 MRI에서 높은 정확도의 병변 탐지 성능를 달성할 수 있는가?
• RQ2 소규모 의료 영상 데이터셋에서 DRL의 성능 및 훈련 안정성은 감독 학습 기반의 딥러닝과 비교해 어떻게 다른가?
• RQ3 큰 레이블 데이터셋에 의존도가 낮아지면서, RL 기반 모델이 스캐너나 기관 간에 더 잘 일반화될 수 있는가?
• RQ4 RL에서 환경 기반의 희소 보상 구조를 사용할 경우, 병변 탐지 시스템의 해석 가능성과 임상의의 신뢰도가 향상되는가?
• RQ5 강화학습이 현재 의료 영상 분야에서 감독 학습 기반 접근법이 지닌 데이터 효율성 및 일반화 한계를 극복할 수 있는가?

주요 결과

• 딥 강화학습 모델은 30장의 이미지로 구성된 테스트 세트에서 뇌 병변 국소화 정확도가 85%에 도달했으며, 감독 학습 기반 기준선보다 뚜렷이 뛰어났다.
• 감독 학습 기반의 키포인트 탐지 네트워크는 동일한 테스트 세트에서 정확도가 약 7%로 떨어져, 소규모 데이터에서의 심각한 과적합 또는 발산 현상을 보였다.
• 강화학습 예측은 훈련 과정 내내 일관되게 향상되었으며, 안정적인 학습 동역학을 보였다.
• DRL 모델은 강건성과 적응성 면에서 뛰어나, 다양한 영상 촬영 프로토콜과 스캐너 간의 적용 가능성도 보였다.
• 결과적으로, RL은 최소한의 데이터로도 높은 성능을 달성할 수 있음을 시사하며, 의료 영상 AI에서 대규모 표준화된 데이터셋이 필수적이라는 가정을 도전할 수 있다.
• 이 개념 검증 연구는 강화학습이 의료 영상 분야에서 감독 학습의 핵심적 한계인 데이터 과다 소비 및 낮은 일반화 능력을 극복할 수 있음을 시사한다.