[논문 리뷰] CAE-Transformer: Transformer-based Model to Predict Invasiveness of Lung Adenocarcinoma Subsolid Nodules from Non-thin Section 3D CT Scans

Shahin Heidarian, Parnian Afshar외 3명|arXiv (Cornell University)|2021. 10. 17.

Lung Cancer Diagnosis and Treatment인용 수 4

한 줄 요약

이 논문은 비박층 3D CT 스캔을 사용하여 폐 미세선종의 침습성을 예측하는 트랜스포머 기반 모델인 CAE-Transformer를 제안한다. 컨볼루션 오토인코더를 활용해 2D CT 슬라이스에서 특징을 추출하고, 이를 수정된 트랜스포머에 입력하여 전역적인 슬라이스 간 상관관계를 포착한다. 최소한의 방사선의학자 감독 하에 114명 환자 데이터셋에서 87.73%의 정확도, 88.67%의 민감도, 86.33%의 특이도, 0.913의 AUC를 달성한다.

ABSTRACT

Lung cancer is the leading cause of mortality from cancer worldwide and has various histologic types, among which Lung Adenocarcinoma (LUAC) has recently been the most prevalent one. The current approach to determine the invasiveness of LUACs is surgical resection, which is not a viable solution to fight lung cancer in a timely fashion. An alternative approach is to analyze chest Computed Tomography (CT) scans. The radiologists' analysis based on CT images, however, is subjective and might result in a low accuracy. In this paper, a transformer-based framework, referred to as the "CAE-Transformer", is developed to efficiently classify LUACs using whole CT images instead of finely annotated nodules. The proposed CAE-Transformer can achieve high accuracy over a small dataset and requires minor supervision from radiologists. The CAE Transformer utilizes an encoder to automatically extract informative features from CT slices, which are then fed to a modified transformer to capture global inter-slice relations and provide classification labels. Experimental results on our in-house dataset of 114 pathologically proven Sub-Solid Nodules (SSNs) demonstrate the superiority of the CAE-Transformer over its counterparts, achieving an accuracy of 87.73%, sensitivity of 88.67%, specificity of 86.33%, and AUC of 0.913, using a 10-fold cross-validation.

연구 동기 및 목표

• 일반적인 비박층 3D CT 스캔에서 폐 미세선종의 침습성을 자동으로, 낮은 감독 수준으로 예측할 수 있는 프레임워크를 개발하는 것.
• 수동으로 레이블링된 종양에 의존하는 주관적인 방사선의학자 해석 및 방사선학적 모델의 한계를 극복하는 것.
• 딥 러닝, 특히 트랜스포머를 활용해 얇은 층 또는 고해상도 스캔이 필요 없이 체적 CT 데이터의 전역적인 슬라이스 간 관계를 모델링하는 것.
• 과잉 수술을 줄이기 위해 사전 수술 시기에 정확한 전임상, 미세침습성, 침습성 아형을 분류할 수 있는 임상 적용 가능한 도구를 만드는 것.
• 자기지도 특징 추출 방식(CAE)과 트랜스포머 인코더의 조합이 소규모 실세계 데이터셋에서 기존 모델보다 우수한 성능을 내는지 입증하는 것.

제안 방법

• 2D CT 슬라이스에서 비지도 방식으로 사전 훈련된 컨볼루션 오토인코더(CAE)를 활용해 계층적이고 정보적인 특징을 추출한다.
• 종양의 모든 슬라이스에서 생성된 CAE 특징을 (25, 256) 형태의 시퀀스로 스택하여 3D 종양을 2D 특징 맵의 시퀀스로 표현한다.
• 다중 헤드 자기주의 어텐션 메커니즘을 사용해 장거리 의존성과 슬라이스 간 관계를 모델링하는 수정된 트랜스포머 인코더가 시퀀스를 처리한다.
• 최종 분류 헤드는 트랜스포머에서 유래한 학습된 [CLS] 토큰 표현을 사용해 침습성 클래스(전임상/미세침습성 대비 침습성)를 예측한다.
• 일반화 성능 향상을 위해 레이블 스무딩(α=0.05)을 적용하고, 전체 데이터셋에서 낮은 학습률(1e-6)로 미세조정한다.
• 성능 평가에는 10겹 교차검증을 사용하고, 아블레이션 연구를 통해 CAE-Transformer를 전역 평균 풀링(GAP), 전역 최대 풀링(GMP), LSTM, 3D-CNN, ResNet 변종과 비교한다.

실험 결과

연구 질문

• RQ1 비박층 CT 스캔에서 고해상도 또는 얇은 층 영상이 필요 없이 트랜스포머 기반 모델이 3D 폐 종양의 슬라이스 간 관계를 효과적으로 포착할 수 있는가?
• RQ2 컨볼루션 오토인코더를 통한 비지도 특징 학습과 트랜스포머 인코더의 조합이 소규모 실세계 의료 데이터셋에서 분류 성능 향상에 기여하는가?
• RQ3 CAE-Transformer는 기존의 방사선학적 모델 및 딥 러닝 베이스라인(예: 3D-CNN, LSTM, ResNet)과 비교해 어떻게 종양의 침습성을 예측하는가?
• RQ4 특징을 분류하기 전에 전역 풀링 전략(GAP 대비 GMP)을 선택할 때 모델의 성능에 어느 정도 영향을 미치는가?
• RQ5 자기지도 사전 훈련 방식을 사용하면 광범위한 방사선의학자 레이블링이 줄어들어도 높은 진단 정확도를 유지할 수 있는가?

주요 결과

• CAE-Transformer는 10겹 교차검증을 통해 114명 환자 데이터셋에서 87.73%의 정확도, 88.67%의 민감도, 86.33%의 특이도, 0.913의 AUC를 달성했다.
• 모델은 동일한 데이터셋에서 수동으로 레이블링된 종양을 사용한 참조 문헌 [7]의 원본 방사선학적 모델(81.0% 정확도)을 뚜렷이 뛰어넘었다.
• CAE-Transformer는 동일한 데이터셋에서 GMP-FC, GAP-FC, CAE-LSTM, 3D-CNN, ResNet 기반 모델 등 비트랜스포머 베이스라인을 모두 초월했다.
• 아블레이션 연구 결과, 전역 풀링(GMP/GAP)을 트랜스포머 인코더로 대체할 경우 성능 향상이 뚜렷하게 나타나, 슬라이스 간 장거리 의존성 모델링의 중요성을 확인했다.
• 소규모 데이터셋에서도 강건성을 보였으며, 더 깊거나 더 큰 네트워크(예: 더 깊은 ResNet)는 과적합으로 인해 성능이 떨어지는 경향을 보여, CAE 사전 훈련과 어텐션 메커니즘의 이점이 뚜렷했다.
• 레이블 스무딩(α=0.05)을 사용함으로써 일반화 성능 향상이 이루어져, 소규모 데이터 의료 학습 환경에서의 유용성을 입증했다.