[논문 리뷰] 3D Medical Point Transformer: Introducing Convolution to Attention Networks for Medical Point Cloud Analysis

Jianhui Yu, Chaoyi Zhang외 6명|arXiv (Cornell University)|2021. 12. 09.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 22

한 줄 요약

이 논문은 3D 의료 포인트 클라우드 분석을 위한 새로운 트랜스포머 기반 모델인 3DMedPT을 제안한다. 이 모델은 컨볼루션 기반 특징 요약과 멀티그래프 리asoning을 통합하여 국소적 및 전역적 특징 학습을 향상시킨다. 분류 및 분할 작업에서 IntrA 벤치마크에서 최신 기술 성능(SOTA)을 달성하며, ModelNet40 및 ShapeNetPart와 같은 일반 3D 포인트 클라우드 데이터셋에서도 뛰어난 일반화 성능을 보인다.

ABSTRACT

General point clouds have been increasingly investigated for different tasks, and recently Transformer-based networks are proposed for point cloud analysis. However, there are barely related works for medical point clouds, which are important for disease detection and treatment. In this work, we propose an attention-based model specifically for medical point clouds, namely 3D medical point Transformer (3DMedPT), to examine the complex biological structures. By augmenting contextual information and summarizing local responses at query, our attention module can capture both local context and global content feature interactions. However, the insufficient training samples of medical data may lead to poor feature learning, so we apply position embeddings to learn accurate local geometry and Multi-Graph Reasoning (MGR) to examine global knowledge propagation over channel graphs to enrich feature representations. Experiments conducted on IntrA dataset proves the superiority of 3DMedPT, where we achieve the best classification and segmentation results. Furthermore, the promising generalization ability of our method is validated on general 3D point cloud benchmarks: ModelNet40 and ShapeNetPart. Code is released.

연구 동기 및 목표

• 불완전한 병리학적 구조를 가진 복잡하고 비정규적이며 토폴로지가 다양한 3D 의료 포인트 클라우드를 분석하는 데 도전하는 것.
• 기존의 MLP 기반 모델(예: PointNet)이 의료 데이터에서 장거리 의존성과 표현력 있는 형태 특징을 포착하는 데 한계를 보이는 문제를 해결하는 것.
• 의료 데이터셋에서 일반적으로 나타나는 저데이터 환경에서 위치 임베딩과 멀티그래프 리ason링을 도입하여 특징 학습을 향상시키는 것.
• 의료 포인트 클라우드에서 뛰어난 성능을 발휘하면서도 일반 3D 포인트 클라우드 벤치마크에 효과적으로 일반화되는 모델을 설계하는 것.

제안 방법

• 자기주의 어텐션 메커니즘 내부에 컨볼루션 레이어를 통합하여 국소적 맥락을 요약하고 통합적인 기하학적 특징을 생성하는 것.
• 어텐션 계산 이전에 쿼리 특징에 국소적 주변 맥락을 보강하여 맥락 인식 능력을 향상시키는 것.
• 비정규적인 의료 포인트 클라우드에서 정밀한 국소 기하학을 모델링하기 위해 쿼리, 키, 밸류 프로젝션에 학습 가능한 위치 임베딩을 적용하는 것.
• 학습 가능한 인접 행렬을 가진 다중 채널 그래프를 학습하여 전역적 특징 전파를 가능하게 하는 멀티그래프 리ason링(MGR)을 제안하는 것.
• 최적의 특징 요약을 위해 어텐션 메커니즘에 소프트맥스 정규화를 적용하며, 이는 경험적으로 검증된 바 있다.
• 데이터 증강과 유닛 큐브 정규화를 통해 의료 및 일반 3D 데이터셋에서 종합적으로 모델을 훈련하는 것.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 3D 의료 포인트 클라우드 내에서 복잡하고 다양한 해부학적 토폴로지를 효과적으로 모델링할 수 있는가?
• RQ2 저샷 의료 포인트 클라우드 학습 환경에서 국소 기하학적 맥락과 전역적 특징 상호작용을 어떻게 함께 최적화할 수 있는가?
• RQ3 위치 임베딩과 멀티그래프 리ason링이 의료 포인트 클라우드 분석의 특징 표현을 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 모델이 ModelNet40 및 ShapeNetPart와 같은 비의료 3D 포인트 클라우드 벤치마크로 일반화되는가?

주요 결과

• 3DMedPT는 IntrA 분류 벤치마크에서 0.922의 최고 F1 스코어를 기록하여 모든 베이스라인을 압도한다.
• IntrA 분할 작업에서 모델은 매우 정밀한 결과를 도출하였으며, 복잡하거나 소형 구조에서의 미세한 오류 외에는 거의 오류가 없었다.
• RetinalOCT(2D 포인트 클라우드로 변환된 데이터)에서 90.9%의 정확도를 기록하여, 데이터 변환 제약에도 불구하고 PointNet과 DGCNN를 모두 능가했다.
• AdrenalMNIST3D에서 3DMedPT는 79.1%의 정확도를 기록하여 포인트 기반 모델 중 두 번째로 높은 성능을 보였으며, AutoKeras 성능에 근접했다.
• 일반 3D 포인트 클라우드 데이터셋으로의 일반화 성능이 뛰어나 ModelNet40 및 ShapeNetPart에서 강력한 성과를 거두었다.
• 광범위한 아블레이션 실험 결과, 소프트맥스 정규화가 가장 우수한 어텐션 성능을 보였으며, Ck=32와 h=8 조합이 최적의 어텐션 헤드 구성임을 확인했다.