[논문 리뷰] Convolutional Neural Networks for Breast Cancer Screening: Transfer Learning with Exponential Decay

Hiba Chougrad, Hamid Zouaki외 1명|arXiv (Cornell University)|2017. 11. 29.

AI in cancer detection참고 문헌 5인용 수 27

한 줄 요약

이 논문은 전이 학습 기반의 CNN 모델을 제안하며, Inception-v3를 사용하고 미세조정 시 지수 감쇠 학습률을 적용하여 유방암 스크리닝 정확도를 향상시킨다. 600개의 유방촬영 영상 병변으로 구성된 소규모 균형 임상 데이터셋에서 계층별 감쇠 학습률을 적용한 결과, 정확도 97.50%와 AUC 0.96을 달성하여 이전 방법들과 인간 수준 성능을 초월한다.

ABSTRACT

In this paper, we propose a Computer Assisted Diagnosis (CAD) system based on a deep Convolutional Neural Network (CNN) model, to build an end-to-end learning process that classifies breast mass lesions. We investigate the impact that has transfer learning when large data is scarce, and explore the proper way to fine-tune the layers to learn features that are more specific to the new data. The proposed approach showed better performance compared to other proposals that classified the same dataset.

연구 동기 및 목표

• 제한된 의료 데이터가 존재하는 상황에서 딥러닝을 활용해 유방암 진단 정확도를 향상시키는 것.
• 의료 영상 분류에 있어 저자료 환경에서 전이 학습의 효과성을 조사하는 것.
• 훈련 데이터가 부족하고 불균형한 상황에서 딥 컨volution 네트워크의 최적의 미세조정 전략을 규명하는 것.
• 계층별 학습률 감쇠가 병변 분류 작업에서 모델의 일반화 능력과 성능에 미치는 영향을 평가하는 것.

제안 방법

• BCDR-F03 데이터셋에서 유의미한 600개의 병변(양성 300개, 악성 300개)으로 구성된 균형 임계 데이터셋에 대해 사전 훈련된 Inception-v3 모델을 미세조정하였다.
• ImageNet 입력 크기와 일치하기 위해 관심 영역(ROIs)을 299×299 픽셀로 자르고 전역 대비 정규화를 적용하였다.
• 정규화된 영상의 정확도를 향상시키기 위해 무작위 이동, 회전(최대 40°), 수평 뒤집기 등의 데이터 증강 기법을 사용하였다.
• 기존의 완전 연결 및 소프트맥스 계층을 대체하기 위해 두 개의 밀집 계층과 드롭아웃 계층(p=0.5)으로 구성된 커스터마이징된 분류기 헤드를 도입하였다.
• 각 계층에 대해 지수 감쇠 학습률 스케줄링을 구현하였으며, 식은 $ t_l = t_0 \cdot \exp(-\lambda \cdot l) $ 로 표현되며, $ \lambda = -3 $ 으로 설정하여 상단 계층에서 하단 계층으로 갈수록 점차 학습률을 감소시켰다.
• 모멘텀 0.9를 사용한 SGD로 훈련하였으며, 검증 손실를 모니터링하여 조기 정지 기능을 15 에포크 동안 적용하였다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋이 확보되지 않은 상황에서 전이 학습이 유방암 스크리닝에 유용한가?
• RQ2 특히, 미세조정 전략의 선택—구체적으로 해제할 계층의 수—가 소규모 의료 데이터셋에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 계층 간 지수 감쇠 학습률이 의료 영상 분류를 위한 미세조정된 CNN의 일반화 능력 향상과 과적합 방지에 기여하는가?
• RQ4 전이 학습에서 특징 재사용과 작업 특화 적응 간의 최적의 균형은 무엇인가? 병변 분류에 적용된 경우를 기준으로 한다.

주요 결과

• 제안된 Inception-v3-FTED 모델은 동일한 데이터셋에서 기존 방법들을 뛰어넘는 97.50%의 정확도를 기록하였으며, 표준편차는 ±1.26%였다.
• 마지막 두 개의 합성곱 블록만 미세조정한 경우(Inceptionv3-2FT) 정확도가 가장 높았으며, 96.67%를 달성하였다. 그러나 더 많은 계층을 해제할 경우 성능이 저하되었다.
• 계층 간 지수 감쇠 학습률을 적용한 경우(Inceptionv3-FTED)는 균일한 학습률로 미세조정하는 것보다 더 나은 수렴과 일반화 성능을 보였다.
• 모델은 AUC 0.96을 달성하여 이전 연구에서 보고된 인간 수준 성능(AUC ~0.90)을 뛰어넘었다.
• ImageNet 사전 훈련 가중치를 사용한 전이 학습은 무작위 초기화 대비 훈련 효율성과 정확도를 크게 향상시켰다(정확도 75.83%).
• 데이터 증강, 드롭아웃, 계층별 학습률 감쇠 스케줄링의 조합을 통해 과적합에 대한 강건성을 확보하였다.