[논문 리뷰] Efficient Multi-objective Evolutionary 3D Neural Architecture Search for COVID-19 Detection with Chest CT Scans

Xin He, Shihao Wang외 3명|arXiv (Cornell University)|2021. 01. 26.

COVID-19 diagnosis using AI참고 문헌 48인용 수 5

한 줄 요약

이 논문은 흉부 CT 영상에서 코로나19 감지에 사용할 수 있는 효율적인 다목적 유전적 3D 신경망 아키텍처 탐색 프레임워크인 EMARS를 제안한다. 가중치 공유와 새로운 '잠재력' 목적 함수를 활용하여 EMARS는 단 8시간 만에 경량이면서 정확한 모델을 탐색하며, 3.39 MB 크기의 모델을 도출하여 더 큰 인간 설계 모델인 ResNet3D101과 DenseNet3D121를 뛰어넘는 성능을 보이며, 클래스 활성화 맵을 통한 해석 가능성도 제공한다.

ABSTRACT

COVID-19 pandemic has spread globally for months. Due to its long incubation period and high testing cost, there is no clue showing its spread speed is slowing down, and hence a faster testing method is in dire need. This paper proposes an efficient Evolutionary Multi-objective neural ARchitecture Search (EMARS) framework, which can automatically search for 3D neural architectures based on a well-designed search space for COVID-19 chest CT scan classification. Within the framework, we use weight sharing strategy to significantly improve the search efficiency and finish the search process in 8 hours. We also propose a new objective, namely potential, which is of benefit to improve the search process's robustness. With the objectives of accuracy, potential, and model size, we find a lightweight model (3.39 MB), which outperforms three baseline human-designed models, i.e., ResNet3D101 (325.21 MB), DenseNet3D121 (43.06 MB), and MC3\_18 (43.84 MB). Besides, our well-designed search space enables the class activation mapping algorithm to be easily embedded into all searched models, which can provide the interpretability for medical diagnosis by visualizing the judgment based on the models to locate the lesion areas.

연구 동기 및 목표

• 긴 잠복기와 높은 검사 비용으로 인해 더 빠르고 비용 효율적인 코로나19 감지 방법의 긴급한 필요성을 해결하기 위해.
• 흉부 CT 영상 분류를 위한 효율적인 3D 신경망 아키텍처의 자동 설계를 통해 수동 아키텍처 설계에 대한 의존도를 줄이기 위해.
• 새로운 목적 함수인 '잠재력'을 포함한 새로운 다목적 최적화 프레임워크를 통해 탐색의 효율성과 강건성을 향상시키기 위해.
• 모든 탐색된 모델에서 클래스 활성화 맵을 통한 해석 가능성 제공을 통해 의료 진단의 해석 가능성을 보장하기 위해.
• 기존 인간 설계 아키텍처보다 크기와 성능 모두에서 뛰어난 경량이면서 정확한 모델을 발견하기 위해.

제안 방법

• 흉부 CT 영상에 특화된 맞춤형 3D 신경망 아키텍처 탐색 공간을 설계하여 효율적인 모델 탐색과 해석 가능성 지원을 가능하게 한다.
• 계산 비용을 크게 줄이기 위해 가중치 공유 전략을 구현하여 전체 탐색 과정이 8시간 내에 완료되도록 한다.
• 다목적 탐색 과정의 강건성을 향상시키기 위해 새로운 목적 함수인 '잠재력'을 도입한다.
• 정확도, 잠재력, 모델 크기의 세 가지 목적을 동시에 최적화하여 성능과 효율성의 균형을 이루도록 한다.
• 모든 탐색된 아키텍처에 클래스 활성화 맵(CAM)을 통합하여 병변 지역의 시각화를 가능하게 하고 의료 진단에서의 해석 가능성을 지원한다.
• 진화 기반 다목적 최적화를 사용하여 탐색 공간을 탐색하고 파레토 최적 아키텍처를 식별한다.

실험 결과

연구 질문

• RQ1 자동화된 3D 신경망 아키텍처 탐색 프레임워크는 낮은 모델 크기 유지 조건에서 흉부 CT 영상에서의 코로나19 감지에 높은 정확도를 달성할 수 있는가?
• RQ2 제안된 '잠재력' 목적 함수는 다목적 탐색 과정의 강건성과 효율성을 어떻게 향상시키는가?
• RQ3 이 프레임워크는 기존 인간 설계 모델인 ResNet3D101과 DenseNet3D121보다 더 작고 더 정확한 모델을 생성할 수 있는가?
• RQ4 클래스 활성화 맵을 활용하여 자동 탐색된 모델에 해석 가능성을 얼마나 잘 유지하고 통합할 수 있는가?
• RQ5 가중치 공유와 다목적 최적화를 통해 실용적인 시간 범위(예: 8시간) 내에 종합적인 3D 아키텍처 탐색을 수행하는 것이 가능한가?

주요 결과

• EMARS 프레임워크는 3D 신경망 아키텍처 탐색을 단 8시간 내에 완료하여 기존 방법에 비해 극적으로 효율성을 향상시켰다.
• 탐색된 모델은 3.39 MB의 매우 작고 경량화된 크기를 확보하여 ResNet3D101(325.21 MB), DenseNet3D121(43.06 MB), MC3_18(43.84 MB)보다 뚜렷이 작다.
• 제안된 모델는 모든 세 가지 인간 설계 기반 모델보다 분류 정확도에서 뛰어난 성능을 보이며, 크기 대비 뛰어난 성능을 입증했다.
• 모든 탐색된 모델에 클래스 활성화 맵 통합을 통해 병변 영역의 시각화가 가능해져 임상 진단에서의 해석 가능성이 향상되었다.
• '잠재력' 목적 함수의 도입으로 다목적 탐색 과정의 안정성과 강건성이 향상되었다.
• 잘 설계된 탐색 공간은 높은 탐색 효율성과 동시에 발견된 모든 아키텍처에 해석 가능성 기법의 원활한 통합을 가능하게 했다.