[논문 리뷰] Multi-level CNN for lung nodule classification with Gaussian Process assisted hyperparameter optimization

Miao Zhang, Huiqi Li외 3명|arXiv (Cornell University)|2019. 01. 02.

Lung Cancer Diagnosis and Treatment참고 문헌 41인용 수 12

한 줄 요약

이 논문은 폐결절 분류를 위한 다중 수준 컨볼루션 신경망(ML-CNN)의 하이퍼파rameter 최적화 프레임워크인 HOUSES를 제안한다. 비정상성 핵함수를 가진 가우시안 프로세스 서rogate 모델을 사용하여 베이지안 최적화의 성능을 향상시킨다. 이 방법은 수동 조정, 무작위 탐색, HORD 및 정상성 핵함수 GP와 같은 기존 방법들을 능가하며, 평가 횟수를 줄이고도 더 높은 검증 정확도와 AUC를 달성한다. 이는 입력 위치에 따라 부드러움을 적응적으로 조정하고, 중요도 기반 유전적 탐색을 통해 구현된다.

ABSTRACT

This paper investigates lung nodule classification by using deep neural networks (DNNs). Hyperparameter optimization in DNNs is a computationally expensive problem, where evaluating a hyperparameter configuration may take several hours or even days. Bayesian optimization has been recently introduced for the automatically searching of optimal hyperparameter configurations of DNNs. It applies probabilistic surrogate models to approximate the validation error function of hyperparameter configurations, such as Gaussian processes, and reduce the computational complexity to a large extent. However, most existing surrogate models adopt stationary covariance functions to measure the difference between hyperparameter points based on spatial distance without considering its spatial locations. This distance-based assumption together with the condition of constant smoothness throughout the whole hyperparameter search space clearly violates the property that the points far away from optimal points usually get similarly poor performance even though each two of them have huge spatial distance between them. In this paper, a non-stationary kernel is proposed which allows the surrogate model to adapt to functions whose smoothness varies with the spatial location of inputs, and a multi-level convolutional neural network (ML-CNN) is built for lung nodule classification whose hyperparameter configuration is optimized by using the proposed non-stationary kernel based Gaussian surrogate model. Our algorithm searches the surrogate for optimal setting via hyperparameter importance based evolutionary strategy, and the experiments demonstrate our algorithm outperforms manual tuning and well-established hyperparameter optimization methods such as Random search, Gaussian processes with stationary kernels, and recently proposed Hyperparameter Optimization via RBF and Dynamic coordinate search.

연구 동기 및 목표

• 의료 영상 분류를 위한 딥 네트워크에서 하이퍼파rameter 최적화의 높은 계산 비용과 비효율성을 해결한다.
• 하이퍼파rameter 공간 전반에 일정한 부드러움을 가정하는 정상성 핵함수의 제한을 극복한다.
• 비정상성 핵함수를 통해 공간적 위치에 민감한 부드러움 변화를 반영하여, 복잡하고 고차원적인 딥 네트워크의 하이퍼파rameter 최적화를 향상시킨다.
• 변경을 통해 가장 영향력 있는 하이퍼파rameter에 집중하는, 효율적인 서rogate 기반 유전적 전략을 개발한다.
• 수동 조정 및 최신 하이퍼파rameter 최적화 기준 대비 폐결절 악성도 분류에서 제안된 방법의 우수한 성능을 입증한다.

제안 방법

• 고차원 공간에서의 비용이 많이 드는 함수 평가 문제로 하이퍼파rameter 최적화 문제를 수식화한다.
• 공간적 위치에 따라 하이퍼파rameter 공간 전반에서 변화하는 부드러움을 모델링할 수 있는 비정상성 핵함수를 제안한다.
• 비정상성 핵함수를 서rogate 모델에 통합하여, 다양한 하이퍼파rameter 설정의 검증 오차를 근사한다.
• 가장 영향력 있는 하이퍼파rameter에 집중하는 중요도 기반 하이퍼파ram터 중요도 기반 유전적 전략을 설계한다.
• 탐색과 이용의 균형을 이루기 위해 할당 함수(EI, PI, UCB)를 사용하여 베이지안 최적화 루프를 운영한다.
• 세 개의 병렬 컨볼루션 스트림(다른 커널 크기 사용)을 갖는 다중 수준 컨볼루션 네트워크(ML-CNN) 아키텍처를 위한 하이퍼파ram터 최적화에 HOUSES 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 정상성 핵함수 대비 비정상성 핵함수를 가진 가우시안 프로세스 서rogate 모델이 딥 네트워크의 하이퍼파라미터 최적화 성능을 향상시키는가?
• RQ2 핵함수에 공간적 위치에 민감한 부드러움을 통합함으로써 고차원 하이퍼파라미터 공간에서 수렴 속도와 최종 성능이 향상되는가?
• RQ3 하이퍼파라미터 중요도 기반 변형을 통한 서rogate 기반 유전적 전략이 딥러닝 하이퍼파라미터 최적화에서 무작위 또는 균일 탐색보다 우월한가?
• RQ4 HOUSES 프레임워크는 랜덤 서치, HORD, 정상성 핵함수 GP와 비교해 폐결절 분류에서 검증 정확도와 AUC 측면에서 어떻게 성능을 내는가?
• RQ5 최적화된 하이퍼파라미터와 함께 네트워크 아키텍처의 선택이 수동 조정 대비 분류 성능 향상에 얼마나 기여하는가?

주요 결과

• HOUSES-UCB는 양성 종양에서 검증 정확도 85.00%, 불명확 종양에서 82.33%, 악성 종양에서 87.75%를 기록하여 수동 조정 및 다른 기준보다 뛰어난 성능을 보였다.
• 비정상성 핵함수 기반 GP 서rogate는 특히 고차원 및 복잡한 딥 네트워크에서 수렴을 크게 향상시켰으며, AUC와 정확도 향상 속도가 가속됨을 보여주었다.
• HOUSES-UCB는 양성 종양에서 AUC 0.8927, 불명확 종양에서 0.8692, 악성 종양에서 0.8937을 기록하여 HORD 및 정상성 핵함수 GP를 포함한 모든 비교 방법보다 높았다.
• 이 방법은 최적화된 성능을 달성하면서도 수동 하이퍼파라미터 조정의 필요성을 줄였고, 9-ML-CNN 문제에서 최신 기술 수준의 성능을 달성했으며, 모든 종류에서 민감도, 특이도, AUC 측면에서 최고 성능 기록을 보였다.
• 유전적 전략에서 중요도 기반 변형을 사용함으로써 하이퍼파라미터 공간의 탐색이 더욱 효율적이었으며, 최적 설정에 도달하기 위해 필요한 함수 평가 횟수가 줄었다.
• 결과는 전문 지식(intuition) — 예를 들어 위치 기반 부드러움 — 을 베이지안 최적화에 통합할 경우, 특히 계산 비용이 많이 드는 복잡한 딥 러닝 작업에서 최적화의 효과성이 크게 향상됨을 입증한다.