[논문 리뷰] Uniformizing Techniques to Process CT scans with 3D CNNs for Tuberculosis Prediction

Hasib Zunair, Aimon Rahman외 2명|arXiv (Cornell University)|2020. 07. 26.

COVID-19 diagnosis using AI인용 수 5

한 줄 요약

이 논문은 3D CT 스캔을 효과적으로 처리하여 결핵 예측을 수행하기 위해 볼륨 유니폼라이징 기법—특히 일정한 슬라이스 선택(Even Slice Selection, ESS)과 스퍼링 보간 보간(Interpolated Zoom, SIZ)—을 적용한 3D 컨volution 신경망(3D-CNN) 프레임워크를 제안한다. 이는 GPU 메모리 제약과 변동하는 볼륨 크기 문제를 해결한다. SIZ는 z축을 따라 보간하여 3D 컨텍스트를 유지하며, ImageCLEF 2019 벤치마크에서 73% AUC와 67.5% 정확도를 기록하여 이미지 데이터만을 사용하는 모든 방법보다 뛰어나며, 임상 메타데이터 없이도 전체 5위를 차지한다.

ABSTRACT

A common approach to medical image analysis on volumetric data uses deep 2D convolutional neural networks (CNNs). This is largely attributed to the challenges imposed by the nature of the 3D data: variable volume size, GPU exhaustion during optimization. However, dealing with the individual slices independently in 2D CNNs deliberately discards the depth information which results in poor performance for the intended task. Therefore, it is important to develop methods that not only overcome the heavy memory and computation requirements but also leverage the 3D information. To this end, we evaluate a set of volume uniformizing methods to address the aforementioned issues. The first method involves sampling information evenly from a subset of the volume. Another method exploits the full geometry of the 3D volume by interpolating over the z-axis. We demonstrate performance improvements using controlled ablation studies as well as put this approach to the test on the ImageCLEF Tuberculosis Severity Assessment 2019 benchmark. We report 73% area under curve (AUC) and binary classification accuracy (ACC) of 67.5% on the test set beating all methods which leveraged only image information (without using clinical meta-data) achieving 5-th position overall. All codes and models are made available at https://github.com/hasibzunair/uniformizing-3D.

연구 동기 및 목표

• 변동하는 3D CT 스캔 볼륨 크기와 3D CNN 학습 시 높은 메모리 요구량 문제를 해결하기 위해.
• 2D 슬라이스 단위 처리에서 손실되는 3D 공간적 컨텍스트를 유지함으로써 성능을 향상시키기 위해.
• 제한된 GPU 자원에서도 효과적인 3D 표현 학습을 가능하게 하는 메모리 효율적인 방법을 개발하기 위해.
• 3D 의료 영상 분석 분야에서 병변 예측에 대한 볼륨 유니폼라이징 기법을 평가하고 비교하기 위해.
• 임상 메타데이터 없이도 이미지 데이터만을 사용하는 방법 중 최고 성능을 달성하기 위해.

제안 방법

• 저자들은 이전 연구를 기반으로 한 17층의 3D-CNN 아키텍처를 제안하며, 3D 볼륨 데이터를 효율적으로 처리할 수 있도록 수정하였다.
• 두 가지 볼륨 유니폼라이징 기법—일정한 간격으로 슬라이스를 추출하는 Even Slice Selection (ESS), 그리고 z축을 따라 보간하여 깊이 정보를 유지하는 Spline Interpolated Zoom (SIZ)—을 평가하였다.
• 모델 안정성과 성능 향상을 위해 Hounsfield Unit (HU) 값에 대해 픽셀 정규화와 제로 센터링을 적용하였다.
• SIZ의 경우 계산 가능성과 3D 컨텍스트 유지 간 균형을 맞추기 위해 128×128×64 입력 해상도를 사용하였다.
• 사전처리 및 유니폼라이징 기법의 영향을 분리하기 위해 여러 구성에서 추론 분석(Ablation study)을 수행하였다.
• 모델은 117개의 3D CT 스캔으로 구성된 ImageCLEF Tuberculosis Severity Assessment 2019 테스트 세트에서 학습 및 평가되었다.

실험 결과

연구 질문

• RQ1 3D CT 스캔에서 z축을 따라 보간하는 것이 2D CNN의 독립적 슬라이스 처리보다 더 높은 성능을 내는가?
• RQ2 ESS 및 SIZ와 같은 볼륨 유니폼라이징 기법은 3D 컨텍스트를 유지하면서도 메모리 사용량을 효과적으로 줄일 수 있는가?
• RQ3 HU 값의 정규화 및 제로 센터링은 3D 의료 영상 분류에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 SIZ를 적용한 3D-CNN은 임상 메타데이터를 사용하는 상위 방법들과 비교해도 경쟁력 있는 성능을 낼 수 있는가?
• RQ5 SIZ는 3D CT 볼륨의 축 방향 슬라이스 간 공간 관계를 ESS보다 더 견고하고 신뢰성 있게 유지하는가?

주요 결과

• 스퍼링 보간 보간(SIZ)은 ImageCLEF 2019 테스트 세트에서 최고의 AUC 73.0%와 정확도 67.5%를 기록하여, 이미지 데이터만을 사용하는 모든 방법보다 뛰어났다.
• 정규화 처리 후 기준 모델 대비 SIZ는 AUC 11% 향상, 정확도 14% 향상하여 뚜렷한 성능 향상을 보였다.
• 추론 분석 결과, 픽셀 정규화 및 제로 센터링이 모든 방법에서 성능 향상에 기여했으며, 특히 SIZ에서 가장 큰 효과를 보였다.
• 임상 메타데이터 없이도 이미지 데이터만을 사용했음에도 불구하고, 제안된 방법은 전체 5위를 기록하여 여러 2D CNN 및 3D-CNN 기준 모델들을 능가했다.
• 더 작은 모델(29.5M 파라미터)을 사용하여도, 128×128×128 입력이 필요한 더 큰 3D-CNN(UUIP)에 비해 메모리 오류 없이 경쟁 가능한 성능을 달성했다.
• 정성적·정량적으로 SIZ는 ESS보다 더 신뢰성 있고 안정적인 성능을 보였으며, 일관된 성능 향상과 뛰어난 ROC 곡선을 통해 이를 입증했다.