[논문 리뷰] Characterizing Renal Structures with 3D Block Aggregate Transformers

Xin Yu, Yucheng Tang외 11명|arXiv (Cornell University)|2022. 03. 04.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 대조 강화 CT 영상에서 신장 부위(피질, 고리체, 신우계통계)의 데이터 효율성과 분할 정확도를 향상시키기 위해 3D 블록 집합 기반의 3D 계층적 트랜스포머 모델인 UNesT를 제안한다. 이 방법은 상태 최고 수준의 성능을 달성하며, 수동 분할과의 높은 상관관계(Pearson R = 0.9891)와 함께 공개 데이터셋에서 뛰어난 재현 가능성과 일반화 능력을 보여주었다.

ABSTRACT

Efficiently quantifying renal structures can provide distinct spatial context and facilitate biomarker discovery for kidney morphology. However, the development and evaluation of the transformer model to segment the renal cortex, medulla, and collecting system remains challenging due to data inefficiency. Inspired by the hierarchical structures in vision transformer, we propose a novel method using a 3D block aggregation transformer for segmenting kidney components on contrast-enhanced CT scans. We construct the first cohort of renal substructures segmentation dataset with 116 subjects under institutional review board (IRB) approval. Our method yields the state-of-the-art performance (Dice of 0.8467) against the baseline approach of 0.8308 with the data-efficient design. The Pearson R achieves 0.9891 between the proposed method and manual standards and indicates the strong correlation and reproducibility for volumetric analysis. We extend the proposed method to the public KiTS dataset, the method leads to improved accuracy compared to transformer-based approaches. We show that the 3D block aggregation transformer can achieve local communication between sequence representations without modifying self-attention, and it can serve as an accurate and efficient quantification tool for characterizing renal structures.

연구 동기 및 목표

• 3D 의료 영상에서 소형 구조 분할을 위한 트랜스포머 기반 모델의 데이터 비효율성 문제를 해결하기 위해.
• 자기주의 주의(self-attention)를 수정하지 않고도 국소 표현 학습을 향상시키는 계층적 3D 트랜스포머 아키텍처를 개발하기 위해.
• 정확한 부피 분석을 위해 임상적으로 애너테이션된 신장 부위 데이터셋(116명의 환자)을 처음으로 구축하기 위해.
• 신장 피질, 고리체 및 수집계통의 부피를 신뢰할 수 있고 자동으로 정량화하기 위해.
• KiTS19와 같은 외부 데이터셋에서 모델의 일반화 능력과 임상적 유용성을 검증하기 위해.

제안 방법

• 3D 블록 집합 기반의 계층적 트랜스포머 인코더를 사용하는 3D U-형 의료 분할 모델인 UNesT를 제안하여 시퀀스 표현 간의 통신을 가능하게 한다.
• 매 두 번째 트랜스포머 레이어마다 8배의 패치 집합 기능을 도입하여 국소 인도적 편향을 강화하면서도 전역 자기주의 주의 메커니즘을 변경하지 않는다.
• 표준 자기주의 주의를 유지하면서도 소형 구조에 대한 데이터 효율성과 표현 학습을 향상시키는 간소화된 설계를 채택한다.
• 중첩된 ViT를 영감으로 삼은 내재된 트랜스포머 아키텍처를 사용하여 고해상도 3D 의료 영상의 계층적 모델링을 가능하게 한다.
• 전문가가 애너테이션한 신장 부위를 포함한 116개의 대조 강화 CT 스캔으로 구성된 신규 수집 데이터셋을 기반으로 모델을 훈련시킨다.
• 다양한 데이터 제약 조건에서의 성능 평가를 위해 Dice 점수, 수동 분할과의 피어슨 상관계수, 수렴 분석을 수행한다.

실험 결과

연구 질문

• RQ1 자기주의 주의를 수정하지 않고도 3D 블록 집합 기반 메커니즘이 트랜스포머 기반 3D 의료 영상 분할에서 데이터 효율성을 향상시킬 수 있는가?
• RQ2 제안된 계층적 트랜스포머 아키텍처는 표준 트랜스포머 및 국소 자기주의 주의 변형 대비 소형 신장 부위 분할에서 더 뛰어난 성능을 낼 수 있는가?
• RQ3 모델은 KiTS19와 같은 외부 데이터셋으로 일반화되는 정도가 어느 정도이며, 기존의 최고 수준 기술과 비교해 볼 때 어떤가?
• RQ4 저데이터 제약 조건 하에서 모델의 성능과 수렴 속도는 어떻게 변하고, 수동 분할과의 재현 가능성은 어떠한가?
• RQ5 이 방법은 수동 부피 측정과 높은 상관관계를 보이며, 생물마커 발견을 위한 임상적 유용성을 보여줄 수 있는가?

주요 결과

• 제안된 UNesT 모델은 신장 부위 데이터셋에서 Dice 점수 0.8467을 기록하여 베이스라인(0.8308)을 초월하고 최신 기술 수준의 성능을 확보했다.
• 자동 분할과 수동 분할 간의 부정적 상관계수는 0.9891로 나타나 높은 재현 가능성과 신뢰성을 보여주었다.
• 저데이터 제약 조건 하에서 블록 집합 설계는 두 번째로 좋은 방법보다 Dice 점수를 4% 이상 향상시켜 데이터 효율성 향상을 입증했다.
• 계층적 모듈을 사용할 경우, 2K 반복 시 15% 더 빠르고, 30K 반복 시 4% 더 빠르게 수렴하여 훈련 동역학 향상을 보였다.
• 공개된 KiTS19 데이터셋에서 평가한 결과, 신장에 대해 Dice 점수 0.9778, 종양에 대해 0.8398을 기록하여 뛰어난 일반화 능력을 입증했다.
• Bland-Altman 분석을 통해 자동 분할이 수동 애너테이션(평균 차이: 0.01)과 더 밀접하게 일치하는 것으로 확인되었으며, 이는 관찰자 간 일치도(0.29)보다 높은 재현 가능성임을 시사한다.