[논문 리뷰] Adversarial Image Registration with Application for MR and TRUS Image Fusion

Pingkun Yan, Sheng Xu외 2명|arXiv (Cornell University)|2018. 04. 30.

Advanced Image Processing Techniques참고 문헌 11인용 수 9

한 줄 요약

이 논문은 전립선 수술에서 MR-TRUS 융합을 위한 적대적 이미지 정렬(AIR-net) 프레임워크를 제안한다. 이 프레임워크는 생성 적대 신경망(GAN)을 사용하여 변환 추정과 정렬 품질 평가를 동시에 학습한다. 생성자(generator)는 정렬 변환을 예측하고, 판별자(discriminator)는 정렬 품질을 평가하도록 훈련된다. 이로 인해 평균 목표 정렬 오차(TRE)가 初始 6.11mm에서 3.48mm로 유의미하게 감소하였으며, 판별자 점수는 정렬 정확도와 강한 상관관계를 보여 실시간 임상 피드백이 가능하다.

ABSTRACT

Robust and accurate alignment of multimodal medical images is a very challenging task, which however is very useful for many clinical applications. For example, magnetic resonance (MR) and transrectal ultrasound (TRUS) image registration is a critical component in MR-TRUS fusion guided prostate interventions. However, due to the huge difference between the image appearances and the large variation in image correspondence, MR-TRUS image registration is a very challenging problem. In this paper, an adversarial image registration (AIR) framework is proposed. By training two deep neural networks simultaneously, one being a generator and the other being a discriminator, we can obtain not only a network for image registration, but also a metric network which can help evaluate the quality of image registration. The developed AIR-net is then evaluated using clinical datasets acquired through image-fusion guided prostate biopsy procedures and promising results are demonstrated.

연구 동기 및 목표

• 전립선 수술에서 MR-TRUS 융합을 위한 다중 모odal 이미지 정렬의 강건성과 정확성 문제를 해결하기 위해.
• 동시에 변환을 추정하고 정렬 품질을 평가하는 딥 러닝 기반의 정렬 방법을 개발하기 위해.
• 기존의 딥 러닝 정렬 방법에서의 유사도 측정 기준의 한계와 피드백 부족 문제를 해결하기 위해.
• 이미지 유도 수술를 위한 실시간으로 신뢰할 수 있는 정렬과 내장된 품질 평가 기능을 제공하기 위해.
• 적대적 훈련이 다중 모달 의료 이미지 정렬에서의 타당성과 효과성을 입증하기 위해.

제안 방법

• AIR-net 프레임워크는 입력으로 주어진 MR 및 TRUS 이미지 쌍에서 변환 매개변수(회전 및 이동)를 직접 예측하는 생성자 네트워크(G)를 사용한다.
• 판별자 네트워크(D)는 추정된 변환(T_est)으로 정렬된 이미지 쌍과 참값 변환(T_gt)으로 정렬된 이미지 쌍을 구분하도록 훈련된다.
• 생성자와 판별자는 적대적 방식으로 훈련되며, 생성자는 판별자가 생성된 쌍을 실제(참값 기반 정렬)로 간주하도록 하기 위해 변환을 개선한다.
• 이미지 리샘플링은 추정된 변환을 사용하여 수행되며, 이는 판별자에 입력되는 이동 이미지의 생성을 위해 사용된다.
• 3D 볼륨을 다중 채널 2D 이미지로 처리하기 위해 2D CNN을 사용하여 제한된 GPU 메모리에서도 깊은 네트워크를 구현할 수 있다.
• 프레임워크는 임상용 MR-TRUS 데이터셋에서 엔드 투 엔드로 훈련되며, 성능 평가에는 목표 정렬 오차(TRE)와 판별자 점수(D-Score)를 사용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 다중 모달 의료 이미지 정렬에서 정확한 변환 추정과 신뢰할 수 있는 정렬 품질 평가를 동시에 학습할 수 있는가?
• RQ2 목표 정렬 오차(TRE)로 측정된 실제 정렬 정확도와 판별자 점수(D-Score) 간의 상관관계는 얼마나 높은가?
• RQ3 제안된 적대적 훈련 전략은 품질 평가를 위한 명시적 참값 지도 없이도 기준 방법 대비 정렬 성능을 향상시킬 수 있는가?
• RQ4 생성자와 판별자의 엔드 투 엔드 훈련은 임상 환경에서 더 빠르고 강건한 정렬을 이끌 수 있는가?
• RQ5 큰 강도 및 해상도 차이를 보이는 MR 및 TRUS 이미지 간의 실제 임상 데이터에 대해 이 방법이 일반화 가능한가?

주요 결과

• 제안된 AIR-net은 평균 목표 정렬 오차(TRE)를 초기 무작위 정렬 시 6.11mm에서 정렬 후 3.48mm로 감소시켰으며, 통계적으로 유의미한 향상(p < 0.01)을 보였다.
• 판별자 점수(D-Score)는 정렬 품질과 강력하고 유의미한 상관관계를 보였으며, TRE가 감소함에 따라 증가하여 신뢰할 수 있는 품질 평가임을 시사했다.
• 이 방법은 빠른 추론 시간을 달성하여 단일 GPU를 사용할 경우 이미지 쌍당 100ms 이내로 정렬 추정을 수행할 수 있었다.
• 판별자 네트워크는 고품질 및 저품질 정렬을 효과적으로 구분하여 실시간 품질 피드백 메커니즘으로서의 유용성을 입증했다.
• 3D 볼륨을 처리하기 위해 2D CNN을 사용함으로써 차원 감소에도 불구하고 얕은 3D CNN보다 더 깊은 네트워크 아키텍처를 구현하고 더 우수한 성능을 달성했다.
• 생성자와 판별자의 엔드 투 엔드 훈련은 새로운 임상 데이터에 대해 잘 일반화되는 강건한 정렬 시스템을 만들어 냈다.