[논문 리뷰] DRMIME: Differentiable Mutual Information and Matrix Exponential for Multi-Resolution Image Registration

Abhishek Nan, Matthew Tennant외 2명|arXiv (Cornell University)|2020. 01. 27.

Medical Image Segmentation Techniques참고 문헌 22인용 수 15

한 줄 요약

DRMIME는 다중 모odal 및 단일 모adal 등재를 향상시키기 위해 미분 가능한 상호정보(MINE)와 행렬 지수 기반 아핀 변환을 사용하는 엔드 투 엔드 미분 가능한 영상 정렬 프레임워크를 제안한다. 모든 피라미드 수준을 동시에 기반으로 한 기울기 최적화를 가능하게 하여, 기존 방법에 비해 정확도 향상이 두드러진 FIRE 및 ANHIR 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we present a novel unsupervised image registration algorithm. It is differentiable end-to-end and can be used for both multi-modal and mono-modal registration. This is done using mutual information (MI) as a metric. The novelty here is that rather than using traditional ways of approximating MI, we use a neural estimator called MINE and supplement it with matrix exponential for transformation matrix computation. This leads to improved results as compared to the standard algorithms available out-of-the-box in state-of-the-art image registration toolboxes.

연구 동기 및 목표

• 다중 모달 및 단일 모달 정렬을 모두 지원하는 엔드 투 엔드 미분 가능한 영상 정렬 프레임워크를 개발하는 것.
• 차원의 문제와 비가역성으로 인해 문제가 되는 전통적인 히스토그램 기반 상호정보 추정 방식의 한계를 극복하는 것.
• MINE를 활용한 미분 가능한 상호정보 추정기와 행렬 지수를 통한 리 군 기반 변환 매arameter화를 통해 정렬 정확도를 향상시키는 것.
• 자동 미분를 활용해 모든 다중 해상도 피라미드 수준에서 동시에 최적화를 가능하게 하는 것.
• 기존 최신 기술 수준의 도구들과 비교하여 FIRE 및 ANHIR와 같은 벤치마크 데이터셋에서 뛰어난 성능을 입증하는 것.

제안 방법

• 기울기 기반 최적화를 가능하게 하기 위해 MINE(Mutual Information Neural Estimation)를 사용해 상호정보의 미분 가능한 하한을 계산한다.
• 기저 행렬의 선형 조합의 행렬 지수를 사용해 아핀 변환을 매개변수화하여, 적절한 다양체 제약 조건을 보장한다(예: SO(2) 또는 Aff(2)).
• 변환 행렬을 $ H = \exp(\sum_{i=1}^6 v_i B_i) $ 로 표현하며, 여기서 $ B_i $ 는 2차원 아핀 변환을 위한 사전 정의된 기저 행렬이다.
• 순차적으로가 아니라 모든 피라미드 수준을 동시에 자동 미분을 적용하여 최적화의 안정성과 수렴성을 향상시킨다.
• 계산 비용 절감과 기능 표현 향상을 위해 Canny 경계 검출 또는 무작위 샘플링을 활용한 다중 해상도 영상 피라미드를 도입한다.
• ADAM과 AMSGRAD를 사용해 손실를 최적화하며, PyTorch의 자동 미분 기능을 활용해 완전한 엔드 투 엔드 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 MINE를 통한 미분 가능한 상호정보 추정이 다중 모달 의료 영상 정렬의 정확도 향상에 기여하는가?
• RQ2 행렬 지수를 활용한 변환 매개변수화 방식이 기존 매개변수화 방식보다 더 정확하고 안정적인 정렬을 이끌어내는가?
• RQ3 모든 피라미드 수준에서 동시에 최적화하는 방식이 순차적 다중 해상도 접근 방식에 비해 정렬 성능 향상에 기여하는가?
• RQ4 경계 기반 기능 추출의 사용이 미분 가능한 정렬 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 DRMIME 프레임워크는 FIRE 및 ANHIR와 같은 다양한 데이터셋에 대해 강건하고 일반화 가능한가?

주요 결과

• DRMIME는 NAED(정규화 평균 거리 오차)가 0.0048 ± 0.014로, FIRE 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• ANHIR 데이터셋에서 DRMIME는 NAED가 0.0384 ± 0.087을 기록하며, p-값 0.0012로 기준 방법들에 비해 유의미하게 뛰어난 성능을 보였다.
• 절단 분석 결과, ANHIR에서 행렬 지수 매개변수화가 통계적으로 유의미한 향상을 가져왔으며(p = 0.0012), FIRE에서는 유의미하지 않았다(p = 0.4933).
• Canny 경계 검출을 활용한 기능 추출 방식이 무작위 샘플링보다 더 뛰어난 성능을 보였으며, FIRE에서 p-값 0.0296, ANHIR에서 p-값 0.0333을 기록했다.
• 샘플링 비율을 10%로 제한했음에도 불구하고, 50% 샘플링을 사용하는 다른 알고리즘들을 능가하는 성능을 보였으며, 이는 높은 샘플 효율성을 의미한다.
• MINE가 차원에 대해 선형적으로 확장된다는 점을 감안할 때, 고차원 영상(예: 고분광 또는 다스펙트럴 영상)에의 적용 가능성이 있어, 확장성도 입증되었다.