[논문 리뷰] Characterization of Lung Nodule Malignancy using Hybrid Shape and Appearance Features

Mario Buty, Ziyue Xu외 4명|arXiv (Cornell University)|2016. 09. 21.

Radiomics and Machine Learning in Medical Imaging참고 문헌 4인용 수 6

한 줄 요약

이 논문은 구면 조화 함수(SH) 형태 기술자와 딥 컨볼루션 신경망(DCNN)-추출 외관 특징을 융합하여 폐 결절 악성도 분류를 위한 하이브리드 컴퓨터 지원 진단 방법을 제안한다. LIDC 데이터셋에서 랜덤 포레스트 분류기를 사용하여 하이브리드 모델은 81.2%의 오프-바이-원 정확도를 달성하였으며, 개별 SH 또는 DCNN 모델을 초월하여 전문가 간 상호 관찰자 간 일致성과 유사한 강건성을 보였다.

ABSTRACT

Computed tomography imaging is a standard modality for detecting and assessing lung cancer. In order to evaluate the malignancy of lung nodules, clinical practice often involves expert qualitative ratings on several criteria describing a nodule's appearance and shape. Translating these features for computer-aided diagnostics is challenging due to their subjective nature and the difficulties in gaining a complete description. In this paper, we propose a computerized approach to quantitatively evaluate both appearance distinctions and 3D surface variations. Nodule shape was modeled and parameterized using spherical harmonics, and appearance features were extracted using deep convolutional neural networks. Both sets of features were combined to estimate the nodule malignancy using a random forest classifier. The proposed algorithm was tested on the publicly available Lung Image Database Consortium dataset, achieving high accuracy. By providing lung nodule characterization, this method can provide a robust alternative reference opinion for lung cancer diagnosis.

연구 동기 및 목표

• 전문 영상 방사선 평가를 보완하는 완전 자동화된 정량적 방법을 개발하기 위해.
• 주관적이고 정성적인 결절 특성 분석의 한계를 해결하기 위해 3차원 형태와 질감/외관 특징을 모두 통합하기 위해.
• 3차원 형태 모델링을 위해 구면 조화 함수를, 외관 특징 추출을 위해 딥 러닝을 활용하여 분류의 강건성을 향상시키기 위해.
• LIDC 데이터셋에서의 상호 관찰자 간 변동성을 기준으로 하이브리드 모델의 성능을 평가하고, 오프-바이-원 정확도를 현실적인 기준으로 삼기 위해.
• 형태 특징와 외관 특징이 상호 보완적이며, 이들의 융합이 개별 모odalities를 초월하여 악성도 예측을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 결절 표면는 메쉬 생성 방법을 통해 이진 분할 결과로부터 재구성되었고, 구면 매개변수 도메인으로의 등각 사영을 통해 구면 조화(SH) 표현으로 매핑되었다.
• 3차원 형태의 변동을 코딩하기 위해 구면 조화 계수를 계산하여 회전 및 척도 불변 형태 기술자를 제공하였다.
• 결절의 주축을 따라 국소 3차원 CT 영상 패치를 추출하고, 사전 훈련된 ImageNet DCNN에 입력하여 깊이 있는 외관 특징을 추출하였다.
• DCNN 특징와 SH 계수를 융합하여 악성도 분류를 위한 하이브리드 특징 벡터를 구성하였다.
• 하이브리드 특징를 기반으로 랜덤 포레스트 분류기를 훈련하여 1~5의 악성도 점수를 예측하였으며, 성능 평가에 10겹 교차검증을 사용하였다.
• 데이터 유출을 방지하기 위해 데이터셋을 결절 수준에서 분할하였고, 다양한 수의 평가자와 SH 계수 개수를 고려하여 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 구면 조화 함수 형태 기술자와 딥 러닝 기반 외관 특징을 융합한 하이브리드 모델이 개별 접근 방식을 초월하여 폐 결절 악성도 분류를 향상시킬 수 있는가?
• RQ2 이 하이브리드 모델의 성능은 LIDC 데이터셋에서 방사선 전문가 간 상호 관찰자 간 변동성과 비교하여 어떻게 되는가?
• RQ3 더 많은 구면 조화 계수를 포함할수록 항상 분류 정확도가 향상되는가, 아니면 어느 정도 이상이 되면 노이즈가 증가하는 최적의 계수 개수가 존재하는가?
• RQ4 DCNN로 추출한 외관 특징와 SH 기반 형태 특징가 악성도 예측에 얼마나 상호 보완적인 정보를 제공하는가?
• RQ5 완전 자동화 시스템이 오프-바이-원 허용 오차 기준으로 전문가 방사선 전문가 수준의 악성도 분류 정확도를 달성할 수 있는가?

주요 결과

• 100개의 SH 계수와 최소한의 평가자(1명)를 사용할 경우 하이브리드 모델은 81.2%의 오프-바이-원 정확도를 달성하였으며, DCNN 전용(79.1%) 및 SH 전용(77.2%) 모델을 모두 초월하였다.
• 150개의 SH 계수와 2명의 평가자를 사용할 경우 하이브리드 모델은 80.3%의 오프-바이-원 정확도를 기록하여 다양한 입력 조건에서도 일관된 우수성을 입증하였다.
• 더 많은 SH 계수를 포함하는 것이 항상 성능 향상으로 이어지지 않으며, 특정 지점 이상부터는 유용한 형태 정보보다 노이즈가 증가할 수 있음을 확인하였다.
• 하이브리드 모델의 성능는 LIDC 데이터셋에서의 상호 관찰자 간 변동성과 유사하여, 자동화된 신뢰할 수 있는 기준 의견으로 활용될 수 있음을 시사한다.
• 형태(구면 조화 함수를 통한)와 외관(딥 러닝을 통한) 특징가 상호 보완적이며, 이들의 융합이 악성도 예측을 크게 향상시킴을 시사한다.
• 사전 훈련된 DCNN를 자연 이미지에서 전이 학습을 통해 활용할 경우, LIDC 데이터셋에서의 미세조정 없이도 관련된 결절 외관 특징을 효과적으로 추출할 수 있음을 입증하였다.