[논문 리뷰] A framework for dynamically training and adapting deep reinforcement learning models to different, low-compute, and continuously changing radiology deployment environments

Guangyao Zheng, Shuhao Lai외 3명|arXiv (Cornell University)|2023. 06. 08.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 변화하는 영상진단 환경에서 깊이 강화학습(DRL) 모델을 효율적이고 저계산량으로 구동할 수 있도록 이미지 코어셋 압축을 활용한 동적이고 지속적인 강화학습 프레임워크를 제안한다. 3차원 볼록체에서의 국소 평균화, 민감도 기반 샘플링, 최대 엔트로피 코어셋 방법을 적용하여 27× 이미지 압축을 실현함으로써 계산 부담을 줄이고 성능을 유지하였으며, 해부학적 랜드마크 정위치 오차 평균이 11.97±12.02 mm로 기존의 전통적 지속학습 방법(19.24±50.77 mm)보다 유의하게 뛰어나다.

ABSTRACT

While Deep Reinforcement Learning has been widely researched in medical imaging, the training and deployment of these models usually require powerful GPUs. Since imaging environments evolve rapidly and can be generated by edge devices, the algorithm is required to continually learn and adapt to changing environments, and adjust to low-compute devices. To this end, we developed three image coreset algorithms to compress and denoise medical images for selective experience replayed-based lifelong reinforcement learning. We implemented neighborhood averaging coreset, neighborhood sensitivity-based sampling coreset, and maximum entropy coreset on full-body DIXON water and DIXON fat MRI images. All three coresets produced 27x compression with excellent performance in localizing five anatomical landmarks: left knee, right trochanter, left kidney, spleen, and lung across both imaging environments. Maximum entropy coreset obtained the best performance of $11.97\pm 12.02$ average distance error, compared to the conventional lifelong learning framework's $19.24\pm 50.77$.

연구 동기 및 목표

• 높은 계산 요구량으로 인해 저계산량, 엣지 기반 영상진단 환경에 대규모 DRL 모델을 구현하는 데 도전하는 문제를 해결하기 위해.
• 새로운 영상 시퀀스(예: DIXON 수분 대 지방 MRI)에 적응하면서 이전 지식을 상실하지 않도록 하는 지속학습 환경에서의 치명적 기억 상실 문제를 극복하기 위해.
• 지속적으로 변화하는 의료 영상 환경(다양한 MRI 시퀀스 및 해부학적 방향 포함)에 대해 DRL 모델의 실시간 효율적 적응을 가능하게 하기 위해.
• 다양한 영상 모odalities와 해부학적 작업을 통해 재학습 없이도 지속학습을 지원하는 확장 가능한, 계산적으로 경량화된 프레임워크를 개발하기 위해.
• 압축된 대표성 있는 이미지 코어셋을 활용한 선택적 경험 재생을 통해 다양한 임상 영상 조건에서 모델의 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• 입력 MRI 데이터를 훈련 이전에 압축하기 위해 이미지 코어셋 기법을 활용하는 선택적 경험 재생 기반 지속학습 강화학습 프레임워크(ICSERIL)를 제안한다.
• 세 가지 코어셋 방법을 구현: 국소 평균화(3D 볼록체의 평균), 국소 민감도 기반 샘플링(각 볼록체의 중심 볼록체 선택), 최대 엔트로피 코어셋(3D 볼록체 내 엔트로피가 가장 높은 볼록체 선택).
• 모든 세 축(x, y, z)에 대해 3× 스케일링 비율을 적용하여 전체 몸통 DIXON MRI 이미지를 27×로 압축하면서도 구조적 및 강도 정보를 유지한다.
• 에이전트의 상태 표현으로 3D 경계 상자(15×15×9)를 사용하여 코어셋 이미지에서의 효율적 추론을 수행하며, 예측 결과를 원본 해상도로 스케일링 복원한다.
• DIXON 수분 이후 DIXON 지방으로 번갈아가며 훈련하는 시퀀스를 사용하고, 경험 재생 버퍼(ERB)에 상태-행동-보상-결과 상태 튜플을 저장하여 지속학습을 가능하게 한다.
• 엔트로피 기반 샘플링을 통합하여 영상 내 정보가 풍부한 영역을 우선순위로 지정함으로써, 압축된 데이터에서의 특징 표현을 향상시켜 정위치 성능을 향상시킨다.

Figure 1 : Illustration of catastrophic forgetting. (A) Model 1 is trained on DIXON fat data, and it is able to localize the right trochanter. (B) When Model 1 encounters DIXON water data, it cannot localize the right trochanter. (C) When we finetune Model 1 on DIXON water data to produce Model 2, i

실험 결과

연구 질문

• RQ1 이미지 코어셋 압축 기법은 저계산량 영상진단 환경에서 DRL 모델의 계산 부담을 줄이되 정위치 정확도를 희생시키지 않고 효과적으로 감소시킬 수 있는가?
• RQ2 평균화, 민감도 기반, 최대 엔트로피 등 다양한 코어셋 선택 전략은 DRL 기반 랜드마크 정위치에 핵심적인 해부학적 정보를 얼마나 잘 유지하는가?
• RQ3 새로운 영상 시퀀스(예: DIXON 수분 대 지방 MRI)에 적응할 때 제안된 ICSERIL 프레임워크는 여러 해부학적 랜드마크에서 치명적 기억 상실을 어느 정도 완화할 수 있는가?
• RQ4 경험 재생에 압축된 코어셋을 사용할 경우, 다양한 영상 환경과 작업에서 DRL 에이전트의 일반화 능력과 강건성이 향상되는가?
• RQ5 의료 영상에 대한 지속학습 DRL에서 코어셋 기반 압축을 사용할 경우, 계산 효율성(에포크당 훈련 시간)과 성능(정위치 오차) 사이의 상충 관계는 어떠한가?

주요 결과

• 최대 엔트로피 코어셋 방법이 가장 뛰어난 랜드마크 정위치 성능을 달성하여 평균 거리 오차가 11.97±12.02 mm를 기록하였으며, 기존의 전통적 지속학습 기반선(19.24±50.77 mm)보다 유의미하게 뛰어나다.
• 모든 세 가지 코어셋 방법이 전체 몸통 DIXON MRI 이미지를 27×로 압축하면서도 다섯 가지 해부학적 랜드마크(왼쪽 무릎, 오른쪽 대퇴골두, 왼쪽 신장, 비장, 폐)에서 높은 정위치 정확도를 유지하였다.
• 최대 엔트로피 코어셋을 활용한 ICSERIL 프레임워크는 기존의 지속학습 기반선 대비 평균 정위치 오차를 37.8% 감소시켜 더 뛰어난 강건성과 일반화 능력을 입증하였다.
• 제안된 프레임워크는 기존의 지속학습 기반선 대비 에포크당 훈련 시간을 2.5배 감소시켜, 낮은 해상도 입력에도 불구하고 계산 효율성이 향상됨을 나타내었다.
• 국소 민감도 기반 샘플링 코어셋은 중간 수준의 성능을 보였으며 평균 오차는 13.85±14.11 mm였다. 이는 대표성 있는 샘플링이 효과적이지만 엔트로피 기반 선택보다는 열등함을 시사한다.
• 통계 분석을 통해 최대 엔트로피 코어셋의 성능 향상은 유의미하게 높았으며(p < 0.05), 이는 저계산 환경에서 지속학습에 효과적임을 검증하였다.

Figure 2 : Illustration of the two different full-body MRI imaging environments (DIXON water denoted ”W” and DIXON fat denoted ”F”), and the five different anatomical landmark localization tasks (left knee, right trochanter, left kidney, spleen, and lung). The performance of the ICSERIL models with