[논문 리뷰] A Cross-Stitch Architecture for Joint Registration and Segmentation in Adaptive Radiotherapy.

Laurens Beljaards, Mohamed S. Elmahdy외 2명|arXiv (Cornell University)|2020. 01. 25.

Advanced Radiotherapy Techniques인용 수 1

한 줄 요약

이 논문은 적응형 방사선 치료에서 이미지 정렬과 장기 분할을 동시에 학습할 수 있도록 하는 크로스스티치 신경망 아키텍처를 제안한다. 이는 작업 간 유연한 특징 교환을 가능하게 하며, 검증 시 평균 표면 거리가 전립선의 경우 1.06±0.3 mm, 직장의 경우 1.76±0.8 mm를 기록하여 단일 작업 및 손실 기반 공동 네트워크를 능가한다. 또한 임상 워크플로우에 통합 가능한 빠른 추론 속도를 확보한다.

ABSTRACT

Recently, joint registration and segmentation has been formulated in a deep learning setting, by the definition of joint loss functions. In this work, we investigate joining these tasks at the architectural level. We propose a registration network that integrates segmentation propagation between images, and a segmentation network to predict the segmentation directly. These networks are connected into a single joint architecture via so-called cross-stitch units, allowing information to be exchanged between the tasks in a learnable manner. The proposed method is evaluated in the context of adaptive image-guided radiotherapy, using daily prostate CT imaging. Two datasets from different institutes and manufacturers were involved in the study. The first dataset was used for training (12 patients) and validation (6 patients), while the second dataset was used as an independent test set (14 patients). In terms of mean surface distance, our approach achieved $1.06 \pm 0.3$ mm, $0.91 \pm 0.4$ mm, $1.27 \pm 0.4$ mm, and $1.76 \pm 0.8$ mm on the validation set and $1.82 \pm 2.4$ mm, $2.45 \pm 2.4$ mm, $2.45 \pm 5.0$ mm, and $2.57 \pm 2.3$ mm on the test set for the prostate, bladder, seminal vesicles, and rectum, respectively. The proposed multi-task network outperformed single-task networks, as well as a network only joined through the loss function, thus demonstrating the capability to leverage the individual strengths of the segmentation and registration tasks. The obtained performance as well as the inference speed make this a promising candidate for daily re-contouring in adaptive radiotherapy, potentially reducing treatment-related side effects and improving quality-of-life after treatment.

연구 동기 및 목표

• 딥 러닝을 활용하여 적응형 방사선 치료에서 매일 시행하는 장기 윤곽 추출의 정확도와 효율성을 향상시키기 위해.
• 개별 또는 손실 기반으로 결합된 정렬 및 분할 네트워크의 한계를 극복하기 위해 아키텍처 수준에서 통합하는 데 목적이 있다.
• 학습 가능한 파rameterized 메커니즘을 통해 정렬 및 분할 작업 간 이중 방향 특징 학습을 가능하게 하기 위해.
• 다양한 기관 및 제조사의 전립선 CT 데이터셋을 활용하여 복잡한 환경에서도 안정성과 일반화 능력을 입증하기 위해.
• 임상 적용을 지원하기 위해 매일 워크플로우에 통합 가능한 빠른 추론 속도를 확보하기 위해.

제안 방법

• 정렬 네트워크와 분할 네트워크를 연결하기 위해 크로스스티치 유닛을 도입하여 공유 및 작업별 특징 학습을 가능하게 한다.
• 정렬 네트워크는 공간 변환을 통해 이미지 간 분할 마스크를 전파하는 반면, 분할 네트워크는 직접적으로 장기 경계를 예측한다.
• 각 네트워크의 특징에 대해 다른 융합 가중치를 적용함으로써 크로스스티치 유닛이 작업 간 유연하고 적응 가능한 정보 흐름을 가능하게 한다.
• 정렬 및 분할 손실을 포함하는 병합된 손실 함수를 사용하여 공동 아키텍처를 훈련시키며, 두 작업을 동시에 최적화한다.
• 모델은 두 개의 데이터셋에서 평가된다: 훈련/검증용 데이터셋(12명의 환자, 검증용 6명)과 다른 기관 및 스캐너에서 확보한 독립적인 테스트 세트(14명의 환자).
• 추론은 단일 전방 전파를 통해 수행되어 임상 환경에서 실시간 적용이 가능하다.

실험 결과

연구 질문

• RQ1 손실 기반 공동 훈련과 비교해 아키텍처 수준에서 정렬 및 분할을 통합하면 성능 향상이 이루어지는가?
• RQ2 크로스스티치 유닛을 통한 학습 가능한 특징 교환은 정렬 및 분할 정확도를 향상시키는가?
• RQ3 제안된 방법은 다양한 영상 촬영 프로토콜 및 스캐너 제조사 간에서 일반화 가능한가?
• RQ4 공동 네트워크는 적응형 방사선 치료의 매일 치료 워크플로우에 적합한 속도와 정확도를 확보할 수 있는가?
• RQ5 아키텍처 융합은 전립선, 방광, 정액선, 직장과 같은 중요한 장기의 평균 표면 거리에 어떤 영향을 미치는가?

주요 결과

• 제안된 크로스스티치 아키텍처는 검증 세트에서 전립선의 평균 표면 거리가 1.06±0.3 mm로 나타나 단일 작업 및 손실 기반 기준선을 능가했다.
• 직장의 경우 검증 세트에서 1.76±0.8 mm를 기록하여 형태와 강도 특성이 다양할 수 있는 장기 간에서도 뛰어난 안정성을 입증했다.
• 독립적인 테스트 세트에서 전립선의 평균 표면 거리는 1.82±2.4 mm, 직장은 2.57±2.3 mm를 기록하여 기관 및 스캐너 간 강력한 일반화 능력을 보였다.
• 공동 네트워크는 단일 작업 네트워크 및 손실 기반 융합 모델보다 유의미하게 뛰어난 성능을 보이며 아키텍처 융합의 유용성을 확인했다.
• 추론 속도는 매일의 재윤곽 추출을 위한 임상 라이프사이클에 적합할 정도로 충분히 빠르게 확보되었다.
• 결과는 정확하고 자동화된 매일 윤곽 추출을 가능하게 함으로써 치료 관련 부작용을 줄이고 환자의 삶의 질을 향상시킬 수 있음을 시사한다.