[논문 리뷰] Intelligent Parameter Tuning in Optimization-based Iterative CT Reconstruction via Deep Reinforcement Learning

Chenyang Shen, Yesenia Gonzalez외 3명|arXiv (Cornell University)|2017. 11. 01.

Medical Imaging Techniques and Applications참고 문헌 3인용 수 7

한 줄 요약

이 논문은 최적화 기반 반복 CT 재구성에서 매개변수 조정을 자동화하기 위해 딥 강화학습 프레임워크를 제안한다. 시각적 피드백에 기반해 각 이미지 패치별로 정규화 매개변수를 조정하는 매개변수 조정 정책 네트워크(PTPN)를 사용하며, 수작업 조정과 비교하거나 이를 초월하는 영상 품질을 달성한다. 이는 인간과 유사한 매개변수 조정 방식을 종단간(end-to-end) 학습하여 재구성 정밀도를 향상시키는 데 성공한다.

ABSTRACT

A number of image-processing problems can be formulated as optimization problems. The objective function typically contains several terms specifically designed for different purposes. Parameters in front of these terms are used to control the relative weights among them. It is of critical importance to tune these parameters, as quality of the solution depends on their values. Tuning parameter is a relatively straightforward task for a human, as one can intelligently determine the direction of parameter adjustment based on the solution quality. Yet manual parameter tuning is not only tedious in many cases, but becomes impractical when a number of parameters exist in a problem. Aiming at solving this problem, this paper proposes an approach that employs deep reinforcement learning to train a system that can automatically adjust parameters in a human-like manner. We demonstrate our idea in an example problem of optimization-based iterative CT reconstruction with a pixel-wise total-variation regularization term. We set up a parameter tuning policy network (PTPN), which maps an CT image patch to an output that specifies the direction and amplitude by which the parameter at the patch center is adjusted. We train the PTPN via an end-to-end reinforcement learning procedure. We demonstrate that under the guidance of the trained PTPN for parameter tuning at each pixel, reconstructed CT images attain quality similar or better than in those reconstructed with manually tuned parameters.

연구 동기 및 목표

• 최적화 기반 반복 CT 재구성에서 번거롭고 비현실적인 수작업 매개변수 조정 문제를 해결하기 위해.
• 영상 품질 피드백에 기반해 인간의 직관을 모방하여 정규화 매개변수를 조정하는 자동화된 시스템을 개발하기 위해.
• 수동 간섭 없이 재구성 품질을 향상시키는 매개변수 조정 정책의 종단간 학습을 가능하게 하기 위해.
• 딥 강화학습을 활용해 CT 재구성에서 적응적이고 패치 기반의 매개변수 조정이 가능한지의 타당성을 입증하기 위해.
• 지능적이고 학습된 매개변수 조정을 통해 수작업으로 조정된 매개변수의 재구성 품질을 충족하거나 초월하는 결과를 도출하기 위해.

제안 방법

• 지역적 CT 영상 패치를 정규화 매개변수 λ의 중심점에서의 조정 방향과 크기로 매핑하는 매개변수 조정 정책 네트워크(PTPN)를 설계한다.
• 에이전트가 시도와 실수를 반복하면서 영상 품질 기반 보상 신호를 사용하여 딥 강화학습을 통해 PTPN을 훈련시킨다.
• 전체 미분 정규화 기반 CT 재구성 모델에서 정규화 매개변수 λ를 조정하기 위한 최적 정책을 학습하기 위해 딥 Q네트워크(DQN) 프레임워크를 사용한다.
• 환경은 반복 재구성 과정으로 정의되며, 에이전트는 현재 영상 패치를 관찰하고 λ를 수정하는 행동을 취하며, 영상 품질 지표에 기반한 피드백을 수신한다.
• 훈련 과정은 종단간이며, 에이전트가 명시적 지도 없이 공간적으로 적응적인 매개변수 조정 전략을 학습할 수 있도록 한다.
• 이 방법은 픽셀 단위의 총 미분 정규화를 적용한 CT 재구성 문제에서 평가되었으며, 지역적 영상 특성에 따라 λ를 패치 기반으로 조정한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 인간의 직관을 모방하여 CT 재구성에서 정규화 매개변수를 조정할 수 있는가?
• RQ2 종단간 훈련된 에이전트가 수작업 매개변수 조정 수준의 재구성 품질을 달성하거나 초월할 수 있는가?
• RQ3 강화학습을 통한 패치 기반 적응적 매개변수 조정이 반복 CT 재구성에서 영상 품질을 향상시키는가?
• RQ4 명시적 재훈련 없이 다양한 영상 특성과 노이즈 수준에 일반화할 수 있는가?
• RQ5 학습된 정책의 성능이 L-곡선 또는 일반화된 교차검증과 같은 표준 매개변수 선택 방법과 비교해 어떻게 되는가?

주요 결과

• 제안된 딥 강화학습 기반 매개변수 조정 시스템은 수작업으로 조정된 매개변수로 얻는 것과 동일하거나 더 뛰어난 CT 재구성 영상 품질을 달성한다.
• PTPN은 공간적으로 적응적인 방식으로 정규화 매개변수 λ를 조정하는 데 성공하여, 노이즈가 많거나 저선량 영역에서 영상 정밀도를 향상시킨다.
• 이 방법은 영상 콘텐츠의 변동성에 대해 강건성을 보이며, 노이즈가 많은 영역에서는 정규화를 증가시키고 부드러운 영역에서는 감소시키는 방식으로 학습한다.
• PTPN의 종단간 훈련을 통해 지도 없이 최적의 매개변수 조정 정책을 발견할 수 있다.
• 이 프레임워크는 매개변수 선택에 전문가 간섭을 줄여 반복 재구성의 임상 적용 가능성을 높인다.
• 결과적으로 강화학습이 복잡한 영상 재구성 매개변수 조정에서 인간과 유사한 의사결정을 효과적으로 모델링할 수 있음을 검증한다.