[논문 리뷰] A skeletonization algorithm for gradient-based optimization

Martin J. Menten, Johannes C. Paetzold외 7명|arXiv (Cornell University)|2023. 09. 05.

Medical Image Segmentation TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 기울기 기반 최적화와 호환되는 최초의 3D 위상 보존 스켈레타이제이션 알고리즘을 소개한다. 이 알고리즘은 컨볼루션, 행렬 연산, 확률적 샘플링과 같은 미분 가능 연산을 사용한다. 비미분 가능 및 신경망 기반 기준선 대비 뛰어난 위상적 및 기하학적 정확도를 달성하여, 혈관 세분화 및 다중 모odal 정렬과 같은 의료 영상 분석 작업에 깊이 학습 파이프라인에 원활하게 통합할 수 있다.

ABSTRACT

The skeleton of a digital image is a compact representation of its topology, geometry, and scale. It has utility in many computer vision applications, such as image description, segmentation, and registration. However, skeletonization has only seen limited use in contemporary deep learning solutions. Most existing skeletonization algorithms are not differentiable, making it impossible to integrate them with gradient-based optimization. Compatible algorithms based on morphological operations and neural networks have been proposed, but their results often deviate from the geometry and topology of the true medial axis. This work introduces the first three-dimensional skeletonization algorithm that is both compatible with gradient-based optimization and preserves an object's topology. Our method is exclusively based on matrix additions and multiplications, convolutional operations, basic non-linear functions, and sampling from a uniform probability distribution, allowing it to be easily implemented in any major deep learning library. In benchmarking experiments, we prove the advantages of our skeletonization algorithm compared to non-differentiable, morphological, and neural-network-based baselines. Finally, we demonstrate the utility of our algorithm by integrating it with two medical image processing applications that use gradient-based optimization: deep-learning-based blood vessel segmentation, and multimodal registration of the mandible in computed tomography and magnetic resonance images.

연구 동기 및 목표

• 딥 러닝에서 기울기 기반 최적화와 호환되는 미분 가능 스켈레타이제이션 방법의 부족을 해결한다.
• 일반적인 형태학적 및 신경망 기반 스켈레타이제이션 방법이 자주 스켈레톤에 끊어짐을 유도하는 위상적 정확도 결함을 극복한다.
• 백프로파게이션과 딥 러닝 프레임워크와 완전히 호환되면서도 진정한 중앙축 위상 구조를 유지하는 방법을 개발한다.
• 혈관 세분화 및 다중 모달 영상 정렬과 같이 최적화가 필요한 실제 의료 영상 처리 응용 분야에서의 유용성을 입증한다.
• 미분 가능하고 도메인에 관계없이 적용 가능한 스켈레타이제이션 접근을 통해 딥 러닝 파이프라인에 위상적 인덕티브 바이어스를 통합하는 기반을 마련한다.

제안 방법

• 알고리즘은 행렬 덧셈과 곱셈, 컨볼루션 연산 및 기본 비선형 활성화 함수에 기반한 미분 가능 공식화를 사용한다.
• 위상 보존 방식으로 단순 점을 식별하고 제거하는 병렬화 가능한 기법을 적용하여, 중앙축이 기하학적·위상적으로 정확한 상태를 유지한다.
• 비이진 입력 영상의 이산화를 위해 확률적 샘플링 전략을 도입하여, 원래 객체 구조의 충실도를 유지하면서도 미분 가능성을 확보한다.
• 스켈레타이제이션 중 위상 정확성을 보장하기 위해 오일러 지표 기반 기준을 활용하여 형태학적 방법에서 흔히 발생하는 불필요한 끊김을 방지한다.
• 전체 파이프라인은 PyTorch 및 TensorFlow와 같은 딥 러닝 프레임워크의 네이티브 연산을 사용하여 구현되어 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 알고리즘은 오일러 지표 기반 및 부울 기반 간소화 규칙을 모두 지원하여 구현의 유연성과 성능 튜닝 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 기울기 기반 딥 러닝 파이프라인에 통합 가능한 동시에 미분 가능하고 위상 보존적인 3D 스켈레타이제이션 알고리즘을 설계할 수 있는가?
• RQ2 제안된 방법은 비미분 가능, 형태학적, 신경망 기반 스켈레타이제이션 기준선 대비 위상적 및 기하학적 정확도에서 어떻게 비교되는가?
• RQ3 미분 가능한 스켈레타이제이션이 딥 러닝 기반 의료 영상 세분화 및 다중 모달 정렬 작업의 성능 향상에 어느 정도 기여하는가?
• RQ4 표준 딥 러닝 연산만을 사용하여 알고리즘을 구현할 수 있는가? 이는 기존 프레임워크와의 광범위한 호환성을 보장한다.
• RQ5 정렬 작업에서 스켈레톤 기반 손실 함수를 사용할 경우, 표준 마스크 기반 손실 함수 대비 정렬 정확도가 향상되는가?

주요 결과

• 기준선 실험에서 제안된 알고리즘이 비미분 가능, 형태학적, 신경망 기반 기준선 대비 뛰어난 위상적 및 기하학적 정확도를 확보하였다.
• 다중 모달 만성골 정렬에서 스켈레톤을 손실 함수로 사용함으로써 DSC가 0.37 ± 0.02(오일러 변형) 및 0.37 ± 0.01(부울 변형)으로 향상되었으며, 스켈레타이제이션 없이 사용한 기준선(0.38 ± 0.01)과 형태학적 기준선(0.32 ± 0.01)을 모두 초월하였다.
• 제안된 방법을 사용할 경우 허프만 거리(HD)는 28.0 ± 1.1 mm로 감소하였고, 기준선 대비 29.9 ± 0.9 mm보다 개선된 것으로 나타났다. 이는 공간 정렬 향상의 증거이다.
• 평균 표면 거리(ASD)는 모든 방법에서 유사한 수준(6.5–6.7 mm)을 유지하여 표면 수준의 정확도는 일관되게 유지되었고, 위상적 충실도 향상만을 달성하였다.
• PyTorch와 같은 autograd 프레임워크를 통해 알고리즘이 딥 러닝 파이프라인에 원활하게 통합되었으며, 실제 응용에서 기울기 기반 최적화와의 호환성을 입증하였다.
• 이 방법은 도메인에 관계없이 적용 가능하며, 특정 데이터 분포에 대한 미세조정이 필요하지 않다. 이는 도메인 이동에 취약한 학습된 스켈레타이제이션 접근 방식과는 다릅니다.