[논문 리뷰] On Reducing Negative Jacobian Determinant of the Deformation Predicted by Deep Registration Networks

Dongyang Kuang|arXiv (Cornell University)|2019. 06. 28.

Medical Image Segmentation Techniques참고 문헌 17인용 수 4

한 줄 요약

이 논문은 깊이 있는 비지도 학습 기반 의료 영상 정렬 네트워크에서 부정적인 야코비안 행렬식을 줄이기 위해 두 가지 훈련 기법 개선 사항—사이클 일관성 설계와 정밀화 모듈—을 제안한다. 이는 네트워크 아키텍처를 변경하지 않으면서도 정렬 정확도를 유지하면서 변형에서의 접힘 위치를 크게 감소시킨다.

ABSTRACT

Image registration is a fundamental step in medical image analysis. Ideally, the transformation that registers one image to another should be a diffeomorphism that is both invertible and smooth. Traditional methods like geodesic shooting approach the problem via differential geometry, with theoretical guarantees that the resulting transformation will be smooth and invertible. Most previous research using unsupervised deep neural networks for registration have used a local smoothness constraint (typically, a spatial variation loss) to address the smoothness issue. These networks usually produce non-invertible transformations with ``folding'' in multiple voxel locations, indicated by a negative determinant of the Jacobian matrix of the transformation. While using a loss function that specifically penalizes the folding is a straightforward solution, this usually requires carefully tuning the regularization strength, especially when there are also other losses. In this paper we address this problem from a different angle, by investigating possible training mechanisms that will help the network avoid negative Jacobians and produce smoother deformations. We contribute two independent ideas in this direction. Both ideas greatly reduce the number of folding locations in the predicted deformation, without making changes to the hyperparameters or the architecture used in the existing baseline registration network.

연구 동기 및 목표

• 접힘을 나타내는 부정적인 야코비안 행렬식을 가진 비가역적 변형 문제를 해결하기 위해 비지도 학습 기반의 의료 영상 정렬에서의 비가역성 문제를 다루기.
• 높은 초모수 조정을 해도 접힘을 완전히 제거하지 못하는 표준 정규화 기법의 한계를 극복하기.
• 네트워크 아키텍처나 새로운 손실 함수를 추가하지 않고 예측된 변형의 기하학적 정밀도를 향상시키기.
• 정확도를 유지하면서 변형 필드의 부드러움과 가역성을 향상시키기.

제안 방법

• 네트워크가 정방향 및 역방향 변환을 수행하도록 하는 사이클 일관성 설계를 도입하여, 정방향-역방향 통과 후 원본과 재구성된 입력 간의 차이를 최소화함으로써 가역성을 강제한다.
• 별도의 네트워크를 사용해 예측된 이동 필드를 반복적으로 보정하는 정밀화 모듈을 구현하여 변형을 개선하고 접힘을 줄인다.
• 기존 손실 함수를 수정하지 않고도 훈련 중 사이클 일관성 손실을 적용하며, 정방향 및 역방향 매핑에 대해 공유된 인코더-디코더 구조를 사용한다.
• 잔차 블록과 리 leaking ReLU 활성화 함수를 사용한 정밀화 네트워크를 설계하여 이동 필드를 반복적으로 개선하며, 각 예측에 대해 네 번의 정밀화 단계를 수행한다.
• 고정된 학습률을 사용한 Adam 옵timizer를 사용해 전체 시스템을 훈련시키며, 변형 예측을 위한 기본 U-Net 아키텍처를 유지한다.
• 정확도 평가에는 덱스 점수를, 접힘 정도 평가에는 부정적인 야코비안 행렬식을 가진 볼륨 요소의 비율을 사용한다.

실험 결과

연구 질문

• RQ1 손실 함수나 아키텍처를 변경하지 않고도 깊이 있는 비지도 정렬 네트워크에서 부정적인 야코비안 행렬식을 줄일 수 있는 훈련 기법을 설계할 수 있는가?
• RQ2 훈련 중 사이클 일관성을 강제하면 예측된 변형의 가역성과 부드러움이 향상되는가?
• RQ3 이동 필드의 반복적 정밀화가 높은 정확도를 유지하면서 접힘을 줄일 수 있는가?
• RQ4 기하학적 정밀도와 데이터셋 간 일반화 능력 측면에서 이러한 방법들은 표준 정규화 기법과 어떻게 비교되는가?
• RQ5 이러한 방법들은 정확도 성능 저하 없이 접힘을 얼마나 줄일 수 있는가?

주요 결과

• 사이클 일관성 설계는 테스트 세트 전체 평균에서 기준값(1.97%)에서 0.13%로 부정적인 야코비안 행렬식을 가진 볼륨 요소 비율을 감소시켰다.
• 정밀화 모듈은 부정적인 야코비안 비율을 0.20%로 낮췄으며, 기준값(0.73%) 대비 표준편차가 훨씬 낮은 0.02%를 기록했다.
• 기하학적 특성 향상에 비해 두 방법 모두 기준값과 유사한 덱스 점수를 유지하여 높은 정확도를 확보했다.
• 왜곡된 격자 시각화 결과에서 두 방법 모두 접힘을 효과적으로 제거했고, 접힘 없는 영역에서는 부드러움을 유지함을 확인했다.
• 사이클 일관성 접근 방식은 정밀화 모듈보다 접힘을 더 효과적으로 줄였으며, 기준값 대비 90% 이상의 문제 영역을 제거했다.
• 제안된 방법들은 기존의 정렬 네트워크와 호환되며, 아키텍처 변경 없이도 다른 부드러움 향상 기법과 조합 가능하다.