[논문 리뷰] Optimize transfer learning for lung diseases in bronchoscopy using a new concept: sequential fine-tuning

Tao Tan, Zhang Li외 16명|arXiv (Cornell University)|2018. 02. 10.

COVID-19 diagnosis using AI참고 문헌 18인용 수 10

한 줄 요약

이 논문은 기침, 결핵(TB), 폐암을 포함한 폐질환의 분류를 향상시키기 위해 병행형 미세조정(sequential fine-tuning)이라는 새로운 전이학습 전략을 제안한다. 사전 훈련된 DenseNet 모델의 레이어를 점진적으로 미세조정함으로써, 434건의 기관지경검 영상 케이스로 구성된 데이터셋에서 전체 정확도 82.0%와 암 검출 정확도 87%를 달성하였으며, 기존의 전통적 미세조정 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Bronchoscopy inspection as a follow-up procedure from the radiological imaging plays a key role in lung disease diagnosis and determining treatment plans for the patients. Doctors needs to make a decision whether to biopsy the patients timely when performing bronchoscopy. However, the doctors also needs to be very selective with biopsies as biopsies may cause uncontrollable bleeding of the lung tissue which is life-threaten. To help doctors to be more selective on biopsies and provide a second opinion on diagnosis, in this work, we propose a computer-aided diagnosis (CAD) system for lung diseases including cancers and tuberculosis (TB). The system is developed based on transfer learning. We propose a novel transfer learning method: sentential fine-tuning . Compared to traditional fine-tuning methods, our methods achieves the best performance. We obtained a overall accuracy of 77.0% a dataset of 81 normal cases, 76 tuberculosis cases and 277 lung cancer cases while the other traditional transfer learning methods achieve an accuracy of 73% and 68%. . The detection accuracy of our method for cancers, TB and normal cases are 87%, 54% and 91% respectively. This indicates that the CAD system has potential to improve lung disease diagnosis accuracy in bronchoscopy and it also might be used to be more selective with biopsies.

연구 동기 및 목표

• 폐질환 진단을 위한 딥러닝 모델 훈련에 활용 가능한 정확한 기관지경검 영상 데이터가 부족한 문제를 해결하기 위해.
• 진단 정확도 향상과 조기이고 선택적인 폐 이상 징후 탐지로 불필요한 생검을 줄이기 위해.
• 기관지경검 중 정상, 결핵, 폐암 케이스를 구분하는 데 영상의학과 전문의 및 내과 전문의를 지원하는 CAD 시스템을 개발하기 위해.
• 작은 데이터셋의 한계를 극복하기 위해, 모델 일반화 능력과 성능을 향상시키는 새로운 미세조정 전략을 도입하기 위해.

제안 방법

• 기관지경검 영상 분류에 특징 추출을 위해 사전 훈련된 DenseNet 모델을 기반으로 사용한다.
• 병행형 미세조정을 제안함: 네트워크의 상단에서 시작하여 하향 방향으로 점진적으로 더 깊은 레이어를 미세조정한다.
• 소규모 데이터셋(정상 81건, TB 76건, 암 277건, 총 434건)에서의 성능 추정을 신뢰할 수 있도록 2중 교차검증을 적용한다.
• 초기에는 완전히 연결된 레이어만 미세조정하고, 점차 더 많은 합성곱 레이어를 훈련 과정에 추가한다.
• 과적합을 최소화하면서 사전 훈련된 특징을 특정 기관지경검 영상 도메인에 적응시키기 위해 전이학습을 활용한다.
• 딥러닝과 도메인 전문 지식을 융합하여, TB 및 암 병변의 미세한 시각적 특징을 더 잘 구분할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기존의 표준 미세조정 방법에 비해 병행형 미세조정이 기관지경검 영상에서 폐질환 분류 정확도 향상에 기여하는가?
• RQ2 임상적 기관지경검 영상에서 흔히 볼 수 있는 소규모이고 불균형한 데이터셋에서 제안된 방법의 성능은 어떠한가?
• RQ3 정상 및 TB 케이스를 정확히 식별함으로써, CAD 시스템이 불필요한 생검을 얼마나 줄일 수 있는가?
• RQ4 비슷한 외관을 보이는 두 질환인 TB와 폐암을 구분하는 데 시스템의 진단 성능는 어떠한가?

주요 결과

• 제안된 병행형 미세조정 방법은 434건의 기관지경검 영상 케이스로 구성된 데이터셋에서 전체 정확도 82.0%를 달성하였으며, 기존의 전통적 미세조정 방법(각각 73% 및 68% 정확도)보다 뛰어난 성능을 보였다.
• 암 검출 정확도는 87%에 도달하였으며, 정상 케이스의 정확도는 91%, TB 케이스는 54%로, 양성 및 악성 질환에 대해 강력한 성능을 보였다.
• 이진 분류(비정상 대 정상)의 AUC는 0.99였으며, 이는 100% 민감도와 65% 특이도를 의미하여, 비정상 케이스가 한 건도 빠지지 않았다.
• 시스템은 정상 및 TB 케이스를 정확히 식별함으로써, 10%의 TB 케이스에서 생검을 피할 수 있었으며, 암 케이스를 한 건도 놓치지 않았다. 이는 불필요한 생검을 줄일 수 있는 잠재적 가능성을 시사한다.
• 오분류의 주요 원인은 소규모 TB 놈이 악성 종양과 유사하게 보여서 발생했으며, 이는 더 크고 다양한 훈련 데이터가 필요함을 시사한다.
• 점진적인 미세조정 전략은 모든 레이어나 오직 완전히 연결된 레이어만 미세조정하는 것보다 더 나은 모델 적응을 제공하며, 특히 데이터가 적은 환경에서 유의미한 성능 향상을 이룬다.