[논문 리뷰] A Multi-Task Self-Normalizing 3D-CNN to Infer Tuberculosis Radiological Manifestations

Pedro M. Gordaliza, J.J. Vaquero외 3명|arXiv (Cornell University)|2019. 07. 29.

COVID-19 diagnosis using AI참고 문헌 9인용 수 3

한 줄 요약

이 논문은 SELU 활성화 함수와 불확실성 가중 손실을 사용하여 다중 작업 자기정규화 3D-CNN을 제안하여 CT 영상에서 결핵 영상학적 소견을 추론한다. 이 모델은 배치 정규화와 하이퍼파rameter 튜닝이 감소한 상태에서도 F₁ 점수 0.9 초과 및 종양 수 계산의 평균제곱근오차(RMSE) 1.16을 달성하여 기준 모델을 능가한다.

ABSTRACT

We propose a learning method well-suited to infer the presence of Tuberculosis (TB) manifestations on Computer Tomography (CT) scans mimicking the radiologist reports. Latent features are extracted from the CT volumes employing the V-Net encoder and those are the input to a Feed-Forward Neural Network (FNN) for multi-class classification. To overtake the issues (e.g., exploding/vanishing gradients, lack of sensibility) that normally appear when training deep 3D models with datasets of limited size and composed of large volumes, our proposal employs: 1) At the network architecture level, the scaled exponential linear unit (SELU) activation which allows the network self-normalization, and 2) at the learning phase, multi-task learning with a loss function weighted by the task homoscedastic uncertainty. The results achieve F1-scores close to or above 0.9 for the detection of TB lesions and a Root Mean Square Error of 1.16 for the number of nodules.

연구 동기 및 목표

• 결절 세그멘테이션 마스크에 의존하지 않고 CT 영상에서 방사선의사 보고서를 모방하는 딥 러닝 모델을 개발하는 것.
• 작고 고차원적인 CT 데이터셋에서 깊이 있는 3D-CNN을 훈련할 때 발생하는 문제, 예를 들어 기울기 소실/폭발 및 낮은 민감도를 해결하는 것.
• 다중 작업 학습에서 손실 가중치의 수동 하이퍼파rameter 튜닝에 대한 의존도를 줄이는 것.
• 자기정규화 성질과 불확실성 기반 손실 가중치를 통합하여 모델의 일반화 능력과 수렴 성능를 향상시키는 것.
• 임상 및 공중보건 목적을 위해 자동으로 안정적인 결핵 영상학적 생물학적 지표를 추출할 수 있도록 하는 것.

제안 방법

• 모델은 1×1×2 mm 등방성 해상도에서 CT 영상의 3D 부피 특징을 추출하기 위해 V-Net 인코더를 사용한다.
• 잠재적 특징들은 공유된 순환신경망(FNN₁)을 거쳐, 회귀(종양 수)와 이진 분류(결핵 소견)를 위한 작업별 특화된 두 개의 FNN에 입력된다.
• 자기정규화 성질을 가능하게 하기 위해 스케일드 지수선형 단위(SELU)를 활성화 함수로 사용한다. 이로 인해 배치 정규화가 필요 없어진다.
• 스토케스틱 정규화 하에서 자기정규화 행동을 유지하기 위해 표준 드롭아웃 대신 알파-드롭아웃을 적용한다.
• 동등한 불확실성 가중 손실 함수는 훈련 중에 각 작업(회귀 및 이진 분류)의 기여도를 동적으로 조정하여 손실 안정성과 수렴 성능를 향상시킨다.
• 제한된 데이터에서의 강건성 향상을 위해 훈련 중 탄성 변형과 가우시안 노이즈를 이용한 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 자기정규화 3D-CNN은 결절 세그멘테이션 마스크가 없이도 CT 영상에서 결핵 영상학적 소견을 효과적으로 추론할 수 있는가?
• RQ2 SELU 활성화 함수와 불확실성 가중 다중 작업 학습의 사용이 작은 고차원 의료 영상 데이터셋에서 모델의 수렴성과 성능 향상에 기여하는가?
• RQ3 기본 배치 정규화와 PReLU 기반 아키텍처에 비해 제안된 모델은 결핵 병변 탐지에서 F₁ 점수와 회귀 오차 측면에서 어떻게 성능이 뛰어나게 되는가?
• RQ4 불확실성 가중 손실이 다중 작업 학습에서 작업 가중치의 수동 하이퍼파rameter 튜닝이 얼마나 감소하는가?
• RQ5 5개의 폴드로 나누어진 교차검증에서 모델은 두 가지 작업(회귀 및 이진 분류) 모두에서 고성능를 유지하면서도 잘 일반화되는가?

주요 결과

• 제안된 SELU 기반 모델은 모든 림프에서 이진 결핵 소견 탐지에 평균 F₁ 점수 0.90을 달성했으며, 개별 작업의 F₁ 점수 범위는 0.88에서 0.94 사이였다.
• 모델은 모든 폴드에서 종양 수 예측에 대해 평균제곱근오차(RMSE) 0.68를 기록했으며, 이는 BN+PReLU 기준 모델(RMSE = 0.78)보다 유의미하게 뛰어났다.
• SELU 모델은 그림 2의 손실 곡선을 통해 모든 폴드에서 검증 손실의 수렴성이 향상되었음을 입증했으며, 더 안정적이고 낮은 손실 값을 기록했다.
• paired t-검정에서 두 모델 간 유의미한 차이가 발견되지 않았다(p > 0.05), 이는 모든 폴드에서 일관된 성능 향상이 있었음을 시사한다.
• 모델은 모든 폴드에서 '나무 가지 모양' 소견에 대해 F₁ 점수 0.92, '실질화' 소견에 대해 F₁ 점수 0.91를 기록했으며, 희귀하거나 미세한 결핵 징후에서도 강력한 성능를 보였다.
• SELU와 불확실성 가중 손실의 사용은 배치 정규화와 수동 손실 가중치 튜닝의 필요성을 줄여 훈련을 단순화하고 계산 복잡도를 감소시켰다.