[논문 리뷰] Fibro-CoSANet: Pulmonary Fibrosis Prognosis Prediction using a Convolutional Self Attention Network

Zabir Al Nazi, Fazla Rabbi Mashrur외 2명|arXiv (Cornell University)|2021. 04. 13.

Interstitial Lung Diseases and Idiopathic Pulmonary Fibrosis참고 문헌 27인용 수 26

한 줄 요약

Fibro-CoSANet는 흉부 CT 영상과 인구통계학적 데이터를 융합하여 폐섬유피증 예후를 예측하는 새로운 엔드 투 엔드 다중모달 컨볼루션 신경망이다. 단일 CT 슬라이스, 폐량 추정, 주의력 강화 특징 정련 기법을 사용하여 FVC 감소 경향을 높은 효율성과 정확도로 예측함으로써 OSIC 데이터셋에서 -6.68의 새로운 최고 성능 수정 라플라스 로그우도 점수를 기록하였다.

ABSTRACT

Idiopathic pulmonary fibrosis (IPF) is a restrictive interstitial lung disease that causes lung function decline by lung tissue scarring. Although lung function decline is assessed by the forced vital capacity (FVC), determining the accurate progression of IPF remains a challenge. To address this challenge, we proposed Fibro-CoSANet, a novel end-to-end multi-modal learning-based approach, to predict the FVC decline. Fibro-CoSANet utilized CT images and demographic information in convolutional neural network frameworks with a stacked attention layer. Extensive experiments on the OSIC Pulmonary Fibrosis Progression Dataset demonstrated the superiority of our proposed Fibro-CoSANet by achieving the new state-of-the-art modified Laplace Log-Likelihood score of -6.68. This network may benefit research areas concerned with designing networks to improve the prognostic accuracy of IPF. The source-code for Fibro-CoSANet is available at: \url{https://github.com/zabir-nabil/Fibro-CoSANet}.

연구 동기 및 목표

• 의료 영상 및 임상 데이터를 활용하여 특발성 폐섬유피증(IPF) 예후 예측의 정확도를 향상시키는 것.
• 변동성이 큰 IPF 진행 상황에 대응하기 위해 강건한 엔드 투 엔드 학습 프레임워크를 개발하는 것.
• 컨볼루션 특징 위에 스택형 자기주의 주의 메커니즘을 통합하여 CT 영상 내 특징 표현을 향상시키는 것.
• 전체 궤적 회귀 대신 FVC 감소 경향을 선형 추세 예측으로 모델링하여 계산 오버헤드를 줄이는 것.
• IPF 예후 예측에서 깊이 있는 영상 특징와 얕은 인구통계학적 특징 간의 다중모달 융합의 효과를 입증하는 것.

제안 방법

• Fibro-CoSANet는 환자당 한 개의 무작위 선택된 CT 슬라이스를 컨볼루션 신경망(CNN) 기반 모델에 입력으로 사용한다.
• 모든 이용 가능한 CT 스캔에서 폐량을 추정하여 다중모달 융합을 위한 얕은 전역 특징으로 활용한다.
• 나이, 성별, 흡연 상태 등의 인구통계학적 특징은 정규화되어 CNN 처리된 CT 특징와 연결된다.
• 융합된 특징에 대해 스택형 자기주의 주의 레이어를 적용하여 관련 폐 부위에 대한 주의를 강화하고 표현을 향상시킨다.
• 선형 사전 가정을 기반으로 FVC 경향의 기울기를 예측함으로써 전체 회귀 모델보다 복잡도를 낮춘다.
• 모델은 SVD 기반 FVC 기울기 계산에서 유도된 가짜 레이블을 사용한 평균 제곱오차 손실 함수로 훈련된다.

실험 결과

연구 질문

• RQ1 단일 CT 슬라이스에 인구통계학적 자료와 자기주의 주의 기법을 융합하면, 전체 스캔 또는 다중 슬라이스 접근 방식보다 FVC 진행 상황 예측 성능이 향상되는가?
• RQ2 CNN 특징 위에 스택형 자기주의 주의 레이어를 적용함으로써 IPF 예후 예측 성능 향상이 이루어지는가?
• RQ3 FVC 기울기에 대한 선형 사전 가정이 더 복잡한 회귀 모델에 비해 더 나은 성능을 내거나 유사한 성능을 달성하면서도 계산 비용을 낮출 수 있는가?
• RQ4 영상 데이터와 인구통계학적 자료의 다중모달 융합은 IPF 예후 예측에서 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ5 OSIC 데이터셋과 같은 저자료 환경에서 모델 복잡도와 성능 사이의 최적 균형은 무엇인가?

주요 결과

• Fibro-CoSANet는 OSIC 폐섬유피증 진행도 데이터셋에서 -6.68의 새로운 최고 성능 수정 라플라스 로그우도 점수를 기록하여 이전 방법들을 능가하였다.
• 스택형 자기주의 주의 모듈을 갖춘 EfficientNet-B2 기반 모델이 최고의 성능을 보이며, 점수는 -6.68 ± 0.31, RMSE는 181.5 ± 25.88을 기록하였다.
• ResNet-50와 EfficientNet-B2에 주의 레이어를 적용한 모델은 더 깊은 ResNet보다 뛰어난 성능을 보였으며, 이는 작은 데이터셋에서 과적합 위험이 있음을 시사한다.
• 단일 CT 슬라이스와 폐량 추정을 활용함으로써 추론 시간과 계산 비용을 줄였지만 높은 정확도를 유지하였다.
• EfficientNet-B0는 가장 낮은 계산 복잡도(0.07 GMacs, 4.05M 파라미터)를 보였지만 성능이 열등하여, 데이터 크기에 비례해 모델 용량을 균형 있게 조정해야 함을 시사한다.
• 자기주의 주의 모듈의 추가로 대부분의 기반 모델에서 성능 향상이 관찰되었으며, 특히 EfficientNet-B1, B2, B3, B4 및 ResNet-50에서 뚜렷한 향상이 있었고, 이는 특징 정련에서의 가치를 확인한다.