[논문 리뷰] Deep Reinforcement Learning for Organ Localization in CT

Fernando Navarro, Anjany Sekuboyina외 4명|arXiv (Cornell University)|2020. 05. 11.

Advanced Neural Network Applications인용 수 24

한 줄 요약

이 논문은 3D CT 스캔에서 장기 국소화를 위한 딥 강화학습(DRL) 방법을 제안한다. 11개의 움직임으로 구성된 맞춤형 액션 스페이스를 사용하여 장기 주변의 3D 경계 상자를 반복적으로 변형함으로써 성능을 향상시킨다. 이 방법은 오직 70장의 훈련 스캔만을 사용하여 VISCERAL 데이터셋에서 0.63 IoU, 2.25 mm 중앙값 벽 거리, 3.65 mm 중앙값 중심 거리를 달성하여, 감독학습에 비해 데이터가 적은 환경에서도 최신 기술 수준의 성능을 보여주며 효과적임을 입증한다.

ABSTRACT

Robust localization of organs in computed tomography scans is a constant pre-processing requirement for organ-specific image retrieval, radiotherapy planning, and interventional image analysis. In contrast to current solutions based on exhaustive search or region proposals, which require large amounts of annotated data, we propose a deep reinforcement learning approach for organ localization in CT. In this work, an artificial agent is actively self-taught to localize organs in CT by learning from its asserts and mistakes. Within the context of reinforcement learning, we propose a novel set of actions tailored for organ localization in CT. Our method can use as a plug-and-play module for localizing any organ of interest. We evaluate the proposed solution on the public VISCERAL dataset containing CT scans with varying fields of view and multiple organs. We achieved an overall intersection over union of 0.63, an absolute median wall distance of 2.25 mm, and a median distance between centroids of 3.65 mm.

연구 동기 및 목표

• 방사선 치료, 영상 검색 및 정렬과 같은 응용 분야에서 필수적인 전처리 단계인 CT 스캔에서의 강건한 장기 국소화 문제를 해결한다.
• 대규모 레이블이 붙은 데이터셋에 의존하거나 계산 비용이 큰 기존 방법(예: 다중 아틀라스 정렬)의 한계를 극복한다.
• 광범위한 인간 레이블링이 필요한 훈련 데이터에 대한 의존도를 줄이는 데이터 효율적인 장기 국소화 솔루션을 개발한다.
• 단일 유연한 강화학습 에이전트를 통해 관심 있는 어떤 장기라도 즉시 사용할 수 있는 플러그 앤 플레이 국소화를 가능하게 한다.
• 강화학습이 감독학습 기반의 딥러닝 방법에 비해 훨씬 적은 훈련 스캔 수로도 장기 국소화를 효과적으로 학습할 수 있음을 입증한다.

제안 방법

• 장기 국소화를 3D CT 환경 내에서 순차적 결정 문제로 공식화함으로써, 인공 에이전트가 관심 장기 주변의 3D 경계 상자를 최적화하도록 학습한다.
• 3D 이동 6개, 각 축 방향의 스케일링 3개, 전체 스케일링 2개로 구성된 11개의 액션을 포함하는 새로운 액션 스페이스를 설계하여, 다양한 형태와 크기의 장기에 맞게 경계 상자를 영리하게 변형할 수 있도록 한다.
• 딥 Q넷(DQN) 에이전트를 사용하여 딥 강화학습을 수행하며, IoU 향상도와 진짜값에 가까운 정도에 기반한 조밀한 희박 보상(reward)을 에이전트가 수신하도록 구현한다.
• 훈련 안정성과 수렴성을 향상시키기 위해 과제의 복잡도를 점진적으로 증가시키는 커리큘럼 학습 전략을 도입한다.
• 공개된 VISCERAL 데이터셋에서 70장의 CT 스캔으로 구성된 소규모 데이터셋을 사용하여 에이전트를 훈련시키며, 한 장의 스캔에서 무한한 훈련 트레이젝터리를 생성할 수 있는 에이전트의 능력을 활용한다.
• 상태 표현을 현재 경계 상자 중심의 3D 크롭으로 정의하고, 이를 3D 컨볼루션 신경망을 통해 처리하여 동작 선택을 위한 공간적 특징을 추출한다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 붙은 데이터셋이 필요 없이 딥 강화학습이 CT 스캔에서 장기 국소화를 효과적으로 학습할 수 있는가?
• RQ2 장기의 형태와 크기 변화에 맞게 맞춤형으로 설계된 액션 스페이스가, 표준적인 이동 전용 액션에 비해 RL 기반 국소화에서 어떤 차이를 보이는가?
• RQ3 DRL이 감독학습 기반의 딥러닝 방법에 비해 훨씬 적은 훈련 스캔 수로도 경쟁 가능한 국소화 성능을 달성할 수 있는가?
• RQ4 단일 통합 정책을 사용하여 다양한 해부학적 외형, 크기, 시야 범위를 가진 장기들 간에 일반화 성능을 보일 수 있는가?
• RQ5 RL의 순차적이고 자기학습적인 특성 덕분에, 무한한 잠재적 트레이젝터리가 존재하는 한정된 수의 CT 스캔에서 효과적인 학습이 가능한가?

주요 결과

• 제안된 DRL 방법은 VISCERAL 데이터셋에서 7개의 장기에 대해 평균 교차율(IoU) 0.63을 달성하여 높은 국소화 정확도를 입증했다.
• 예측된 경계 상자와 진짜값 간의 중앙값 벽 거리는 2.25 mm였으며, 이는 장기 경계 정렬의 높은 공간 정밀도를 나타낸다.
• 예측된 장기 중심과 진짜값 중심 간의 중앙값 거리는 3.65 mm였으며, 이는 형태와 크기의 변동에도 불구하고 중심 국소화의 정확성을 보여준다.
• 이 방법은 감독학습 기반의 여러 베이스라인보다 데이터 효율성 면에서 뛰어나며, 최신 기술 수준의 CNN 기반 방법이 요구하는 약 20배 적은 70장의 훈련 스캔으로도 경쟁 가능한 성능을 달성했다.
• 에이전트는 다양한 해부학적 구조와 스캔 시야 범위를 가진 장기를 성공적으로 국소화하여, 이 방법의 강건성과 일반화 능력을 확인했다.
• 맞춤형 11개 액션 스페이스의 사용 덕분에 다양한 비율의 장기에 맞게 경계 상자를 효과적으로 변형할 수 있었으며, 이는 표준적인 이동 전용 액션으로는 달성할 수 없었던 성능이었다.