[논문 리뷰] Learning to Scan: A Deep Reinforcement Learning Approach for Personalized Scanning in CT Imaging

Ziju Shen, Yufei Wang외 3명|arXiv (Cornell University)|2020. 06. 03.

Medical Imaging Techniques and Applications참고 문헌 67인용 수 5

한 줄 요약

이 논문은 개인화된 CT 스캔 전략을 학습하기 위해 측정 각도 선택과 환자별 방사선 선량 할당을 최적화하는 딥 강화학습(DRL) 프레임워크를 제안한다. CT 스캔을 마르코프 결정 과정(MDP)으로 공식화하고 Proximal Policy Optimization(PPO)로 훈련함으로써, 무작위 또는 균일한 샘플링과 비교해 PSNR 및 SSIM로 측정된 더 높은 영상 복원 품질을 달성하며, TV, 웨이브렛 프레임, PD-net과 같은 다양한 복원 알고리즘으로의 일반화 성능을 확보한다.

ABSTRACT

Computed Tomography (CT) takes X-ray measurements on the subjects to reconstruct tomographic images. As X-ray is radioactive, it is desirable to control the total amount of dose of X-ray for safety concerns. Therefore, we can only select a limited number of measurement angles and assign each of them limited amount of dose. Traditional methods such as compressed sensing usually randomly select the angles and equally distribute the allowed dose on them. In most CT reconstruction models, the emphasize is on designing effective image representations, while much less emphasize is on improving the scanning strategy. The simple scanning strategy of random angle selection and equal dose distribution performs well in general, but they may not be ideal for each individual subject. It is more desirable to design a personalized scanning strategy for each subject to obtain better reconstruction result. In this paper, we propose to use Reinforcement Learning (RL) to learn a personalized scanning policy to select the angles and the dose at each chosen angle for each individual subject. We first formulate the CT scanning process as an MDP, and then use modern deep RL methods to solve it. The learned personalized scanning strategy not only leads to better reconstruction results, but also shows strong generalization to be combined with different reconstruction algorithms.

연구 동기 및 목표

• 고정된 비개인화된 스캔 전략이 환자별 해부학적 특성에 맞게 적응하지 못하는 문제를 해결하기 위해.
• 최적의 스캔 정책을 학습함으로써 방사선 선량을 줄이면서도 영상 복원 품질을 유지하거나 향상시키기 위해.
• 스캔 중 실시간 측정 피드백에 기반해 동적으로 각도와 선량 할당을 선택하는 개인화된 스캔 전략을 개발하기 위해.
• 학습된 정책이 TV, 웨이브렛 프레임, 딥 러닝 모델과 같은 다양한 복원 알고리즘으로 일반화되는지 입증하기 위해.

제안 방법

• CT 스캔 과정을 마르코프 결정 과정(MDP)으로 모델링하며, 상태는 수집된 측정값을 포함하고, 행동은 다음 각도와 선량 수준 선택을 담당하며, 보상은 복원 품질에 기반한다.
• 딥 Q-네트워크에 ResNet 기반 인코더를 적용하여 DRL 프레임워크 내에서 상태 표현의 행동 가치를 추정한다.
• 정책 네트워크의 안정적이고 효율적인 학습을 위해 Proximal Policy Optimization(PPO) 알고리즘을 사용한다.
• 각 시간 단계에서 복원 알고리즘(예: SART)을 사용해 보상 함수를 계산함으로써 정책 최적화를 위한 풍부한 피드백을 제공한다.
• 이미지 복잡도에 기반해 각도와 선량을 적응적으로 선택할 수 있도록 하여 비균일한, 비정규적인 스캔 패턴을 지원한다.
• 정책은 250장의 실제 2차원 CT 영상에서 엔드 투 엔드로 훈련되고, 350장의 새로운 테스트 영상에서 일반화 및 성능을 평가한다.

실험 결과

연구 질문

• RQ1 강화학습이 CT 영상 복원에서 무작위 또는 균일한 샘플링보다 뛰어난 개인화된 스캔 정책을 학습할 수 있는가?
• RQ2 한 번의 훈련된 RL 정책이 TV, 웨이브렛 프레임, 딥 러닝 모델과 같은 다양한 복원 알고리즘으로 얼마나 잘 일반화되는가?
• RQ3 학습된 정책이 환자별 해부학적 복잡도에 따라 각도 선택과 선량 할당을 적응적으로 조정하는가?
• RQ4 훈련 중 노이즈 모델링을 명시적으로 고려하지 않더라도 RL 정책이 다양한 노이즈 수준에서도 높은 복원 품질을 유지할 수 있는가?
• RQ5 다양한 환자 스캔 간에 선택된 각도와 선량 할당의 분포는 어떻게 변화하는가?

주요 결과

• 모든 테스트 복원 알고리즘에서 RL-AD 정책는 동적 샘플링(DS-ED)과 균일한 샘플링(UF-AEC)보다 유의미하게 높은 PSNR 및 SSIM 값을 확보했다.
• SART로만 훈련된 정책라도 TV, 웨이브렛 프레임, PD-net 등 다른 알고리즘으로의 일반화 능력이 뛰어나, 강력한 일반화 성능을 입증했다.
• 환자별 해부학적 특성에 맞게 정책이 적응했다: 더 많은 구조적 복잡도를 가진 영상은 더 많은 측정 각도와 더 낮은 각도당 선량을 할당받았다.
• 선택된 각도와 선량 할당의 분포가 환자 간에 상당히 다름으로써, 고정 전략이 아닌 개인화된 적응 전략임을 확인했다.
• Gaussian 노이즈로만 훈련되었음에도 불구하고 다양한 노이즈 수준으로 일반화되었으며, 측정 변동성에 대한 강건성을 보였다.
• 복잡한 영상에서는 54~65개의 각도를 선택했고, 각도 수가 증가할수록 각도당 선량이 감소함으로써 효율적인 선량 할당을 반영했다.