[논문 리뷰] 3D Anisotropic Hybrid Network: Transferring Convolutional Features from 2D Images to 3D Anisotropic Volumes

Siqi Liu, Daguang Xu외 8명|arXiv (Cornell University)|2017. 11. 23.

AI in cancer detection인용 수 7

한 줄 요약

이 논문은 ImageNet에서 사전 훈련된 2D 컨볼루션 특징을 3D 이방향 볼륨으로 전이하는 3D 이방향 하이브리드 네트워크(AH-Net)를 제안한다. 이는 이방향 3D 컨볼루션과 스킵 연결을 사용하여 스위치 간의 맥락을 모델링하면서도 강력한 일반화 능력을 유지한다. 이 방법은 DBT에서의 병변 검출 및 CT에서의 간/병변 세분화 과제에서 최신 기술 수준의 성능을 달성하였으며, 2D 다중 슬라이스 접근 방식보다 빠른 추론 속도를 제공한다.

ABSTRACT

While deep convolutional neural networks (CNN) have been successfully applied for 2D image analysis, it is still challenging to apply them to 3D anisotropic volumes, especially when the within-slice resolution is much higher than the between-slice resolution and when the amount of 3D volumes is relatively small. On one hand, direct learning of CNN with 3D convolution kernels suffers from the lack of data and likely ends up with poor generalization; insufficient GPU memory limits the model size or representational power. On the other hand, applying 2D CNN with generalizable features to 2D slices ignores between-slice information. Coupling 2D network with LSTM to further handle the between-slice information is not optimal due to the difficulty in LSTM learning. To overcome the above challenges, we propose a 3D Anisotropic Hybrid Network (AH-Net) that transfers convolutional features learned from 2D images to 3D anisotropic volumes. Such a transfer inherits the desired strong generalization capability for within-slice information while naturally exploiting between-slice information for more effective modelling. The focal loss is further utilized for more effective end-to-end learning. We experiment with the proposed 3D AH-Net on two different medical image analysis tasks, namely lesion detection from a Digital Breast Tomosynthesis volume, and liver and liver tumor segmentation from a Computed Tomography volume and obtain the state-of-the-art results.

연구 동기 및 목표

• 이방향 의료 볼륨에서 3D CNN을 처음부터 훈련시킬 때의 제한된 3D 데이터와 열악한 일반화 문제를 해결하기 위해.
• 등방성 커널을 사용하는 표준 3D CNN이 높은 스위치 내부 해상도와 낮은 스위치 간해상도를 처리하는 데 한계를 가지는 문제를 극복하기 위해.
• 이방향 컨볼루션을 통해 효과적으로 3D 맥락을 모델링하면서도 사전 훈련된 2D 특징을 활용하여 일반화 능력을 향상시키기 위해.
• 다중 2D 네트워크 출력을 스택하는 방식보다 더 빠르고 종단 간 3D 추론을 가능하게 하기 위해.

제안 방법

• ImageNet에서 다수의 2D 슬라이스를 입력으로 사용하여 2D 완전 컨volutional ResNet을 사전 훈련한다.
• 2D 커널을 추가 차원으로 확장하여 3D 네트워크로 2D 인코더 가중치를 전이한다.
• 3×3×1 및 1×1×3 커널을 사용하여 스위치 내부 및 스위치 간 특징을 강조하는 이방향 컨볼루션 블록을 활용해 3D 특징 디코더를 구성한다.
• U-Net에서 영감을 얻어 인코더와 디코더 간에 밀집 연결 및 스킵 연결을 통합하여 공간적 세부 정보를 유지한다.
• 네트워크의 최종 단계에 피라미드 볼륨 풀링 모듈을 적용하여 다중 척도 특징을 추출한다.
• 경우의 수가 적은 예제를 강화하기 위해 포커스 손실을 사용하여 3D 패치로 3D AH-Net을 미세 조정함으로써 훈련 안정성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 2D 특징이 낮은 데이터 환경에서 3D 이방향 볼륨으로 효과적으로 전이되어 일반화 능력 향상에 기여할 수 있는가?
• RQ2 매우 이방향적인 해상도(예: DBT 및 CT)를 가진 볼륨에서 3D 맥락을 효과적으로 모델링할 수 있는가?
• RQ3 3×3×1 및 1×1×3 커널을 사용한 이방향 컨볼루션 커널이 이러한 환경에서 표준 등방성 3×3×3 커널보다 우수한 성능을 낼 수 있는가?
• RQ4 하이브리드 2D-3D 아키텍처가 정확도를 유지하거나 향상시키면서도 다중 슬라이스 2D 추론보다 더 빠른 추론을 달성할 수 있는가?
• RQ5 포커스 손실이 클래스 불균형이 있는 3D 세분화 과제에서 학습을 향상시키는 데 기여하는가?

주요 결과

• AH-Net는 LITS 2017 챌린지 데이터셋에서 병변 세분화의 최신 기술 수준의 Dice Global 스코어 0.834와 간 세분화의 0.970을 달성하였다.
• 병변에 대한 Dice Per Case 스코어는 0.634, 간에 대해서는 0.963를 기록하여 챌린지에서 모든 다른 제출 사례를 능가하였다.
• ImageNet에서의 전이 학습 덕분에 표준 3D U-Net 및 기타 3D 모델 대비 뛰어난 일반화 능력을 보였다.
• 2D 다중 슬라이스 추론 파이프라인보다 GPU 추론 시간이 빠르게, 종단 간 3D 처리를 가능하게 하였다.
• 포커스 손실의 사용은 특히 병변 세분화에서 드문, 어려운 또는 모호한 바vox셀에서 학습을 크게 향상시켰다.
• 다양한 슬라이스 두께(0.45–6.0 mm)와 비균일한 강도 분포를 가진 이방향 CT 스캔 전반에 걸쳐 잘 일반화되었다.