[논문 리뷰] Dilated FCN for Multi-Agent 2D/3D Medical Image Registration

Shun Miao, Sebastien Piat외 5명|arXiv (Cornell University)|2017. 11. 22.

Medical Imaging and Analysis참고 문헌 12인용 수 15

한 줄 요약

이 논문은 2D/3D 의료 영상 정렬을 위한 다중 에이전트, 어텐션 증강형 마르코프 결정 과정(MDP) 프레임워크를 제안한다. 이는 확장된 전결합 신경망(dilated Fully Convolutional Networks, FCNs)을 사용하며, 임상적 척추 수술 데이터에서 심한 잡음과 기계적 왜곡이 존재하는 상황에서도 강건한 성능을 달성한다. 다중 국소 에이전트를 확장된 FCN에 통합된 관측치에 대해 훈련하고, 학습 가능한 어텐션 가중치를 통해 그들의 행동을 집계함으로써, 훈련 속도를 10배 빠르게 하고, 총 실패률(Gross Failure Rate, GFR)을 10배 감소시켰다. 이는 최신의 최적화 기법 및 단일 에이전트 방법보다 뛰어난 성능을 보였다.

ABSTRACT

2D/3D image registration to align a 3D volume and 2D X-ray images is a challenging problem due to its ill-posed nature and various artifacts presented in 2D X-ray images. In this paper, we propose a multi-agent system with an auto attention mechanism for robust and efficient 2D/3D image registration. Specifically, an individual agent is trained with dilated Fully Convolutional Network (FCN) to perform registration in a Markov Decision Process (MDP) by observing a local region, and the final action is then taken based on the proposals from multiple agents and weighted by their corresponding confidence levels. The contributions of this paper are threefold. First, we formulate 2D/3D registration as a MDP with observations, actions, and rewards properly defined with respect to X-ray imaging systems. Second, to handle various artifacts in 2D X-ray images, multiple local agents are employed efficiently via FCN-based structures, and an auto attention mechanism is proposed to favor the proposals from regions with more reliable visual cues. Third, a dilated FCN-based training mechanism is proposed to significantly reduce the Degree of Freedom in the simulation of registration environment, and drastically improve training efficiency by an order of magnitude compared to standard CNN-based training method. We demonstrate that the proposed method achieves high robustness on both spine cone beam Computed Tomography data with a low signal-to-noise ratio and data from minimally invasive spine surgery where severe image artifacts and occlusions are presented due to metal screws and guide wires, outperforming other state-of-the-art methods (single agent-based and optimization-based) by a large margin.

연구 동기 및 목표

• 심한 영상 왜곡과 낮은 신호 대 잡음비(SNR) 조건에서 2D/3D 의료 영상 정렬의 강건성과 효율성 문제를 해결하기 위해.
• 단일 에이전트 기반 MDP 정렬의 한계를 극복하기 위해, 고정된 관심 영역 우선 정보에 의존하거나 신뢰할 수 없는 시각적 단서를 잘 처리하지 못하는 문제를 해결하기 위해.
• 고자유도도 환경에서의 훈련 계산 비용을 낮추기 위해, 효과적인 자유도를 감소시킴으로써 훈련 비용을 절감하기 위해.
• 최소 침습적 척추 수술 환경에서 다중 에이전트 협업과 신뢰도 가중 행동 집합을 활용해 정렬의 강건성을 향상시키기 위해.

제안 방법

• 국소 영상 관측치로 정의된 환경 상태, 6-자유도(DoF) 자세 조정으로 정의된 행동, 영상 유사도 측정 기반 보상으로 구성된 마르코프 결정 과정(MDP)으로 2D/3D 정렬을 수식화한다.
• 각각 독립적으로 훈련되는 다수의 에이전트를 도입하며, 각 에이전트는 국소 영상 패치를 처리하고 자세 조정을 예측하기 위해 확장된 FCN을 활용함으로써 병렬 처리 및 효율적인 추론을 가능하게 한다.
• 자기 주도 어텐션 메커니즘을 도입하여, 각 에이전트의 예측에 대해 신뢰도와 시각적 단서의 신뢰성에 따라 동적으로 가중치를 부여한다.
• 효율적인 역전파를 위해 시뮬레이션 환경 내 효과적인 자유도를 8에서 4로 감소시키는 확장된 FCN 기반 훈련 전략을 적용한다.
• 고정된(3D 볼륨) 및 이동 중인(2D X-ray) 영상에 대해 별도로 처리하는 듌문 인코딩 정책 네트워크를 사용하여 특징 표현을 향상시킨다.
• 다양한 에이전트의 행동을 신뢰도 가중 융합 메커니즘을 통해 집계하여, 시각적 일관성이 높고 모호성이 낮은 영역에서의 예측을 우선시한다.

실험 결과

연구 질문

• RQ1 어텐션 기반 행동 융합을 갖춘 다중 에이전트 MDP 프레임워크는 심한 영상 왜곡과 낮은 SNR 조건에서 2D/3D 정렬의 강건성을 향상시킬 수 있는가?
• RQ2 성능을 희생시키지 않고도 고차원 정렬 환경에서 훈련 효율성을 어떻게 크게 향상시킬 수 있는가?
• RQ3 확장된 FCN 기반 특징 학습은 정렬 작업에서 소동작 추정에 있어 공간 정밀도를 얼마나 잘 유지할 수 있는가?
• RQ4 목표 위치나 크기 정보에 대한 사전 지식이 없을 경우 성능에 악영향을 미치는가, 그리고 다중 에이전트 학습이 이를 보완할 수 있는가?
• RQ5 다양한 국소 에이전트 예측의 자가 어텐션 융합은 복잡한 임상 상황에서 단일 에이전트 또는 최적화 기반 기준보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 CBCT 데이터에서 총 실패률(GFR)을 2.1%로 줄였고, 임상 척추 수술 데이터에서는 6.1%로, 다음으로 우수한 방법보다 10배 향상된 성능을 보였다.
• 임상 데이터에서 이 방법은 중앙값 목표 정렬 오차(TRE)를 1.99 mm로 달성하여, 두 번째로 우수한 방법(ES-GO)의 3.18 mm보다 뚜렷이 뛰어났다.
• 확장된 FCN 기반 훈련 전략 덕분에 필요한 훈련 샘플 수가 한 단계 감소하여 훈련 효율성이 크게 향상되었다.
• 자기 주도 어텐션을 갖춘 다중 에이전트 시스템은 CBCT 데이터에서 4.1%의 GFR, 임상 데이터에서는 6.8%의 GFR을 기록하여, 실제 수술 데이터에 대한 미세조정 없이도 강건성을 입증했다.
• 낮은 실패률을 유지하면서도 높은 정확도(중앙값 TRE < 2 mm)를 확보하여, 단일 에이전트 및 최적화 기반 접근 방식보다 강건성과 정밀도 면에서 모두 뛰어난 성능을 보였다.
• 제거 실험을 통해 자기 주도 어텐션 메커니즘이 신뢰할 수 있는 시각적 단서에 집중함으로써 성능을 크게 향상시켰다는 것이 확인되었으며, 특히 가림되거나 왜곡된 영역에서 두드러진 효과를 보였다.