[논문 리뷰] Can Pretrained Neural Networks Detect Anatomy?

Vlado Menkovski, Zharko Aleksovski외 2명|arXiv (Cornell University)|2015. 12. 18.

AI in cancer detection참고 문헌 7인용 수 3

한 줄 요약

이 논문은 사전 훈련된 및 맞춤형 합성곱 신경망을 사용하여 X선 영상에서 해부학적 구조 탐지에 대한 전이 학습과 데이터 증강을 조사한다. 사전 훈련된 OverFeat 네트워크를 서포트 벡터 머신(SVM)으로 미세조정한 결과 92.42%의 정확도를 달성하였고, 강한 데이터 증강과 정규화를 적용한 맞춤형 CNN은 95.14%의 정확도를 기록하여, 적절한 정규화와 증강 기법을 적용할 경우 제한된 의료 데이터로도 강력한 특징 학습이 가능함을 보여준다.

ABSTRACT

Convolutional neural networks demonstrated outstanding empirical results in computer vision and speech recognition tasks where labeled training data is abundant. In medical imaging, there is a huge variety of possible imaging modalities and contrasts, where annotated data is usually very scarce. We present two approaches to deal with this challenge. A network pretrained in a different domain with abundant data is used as a feature extractor, while a subsequent classifier is trained on a small target dataset; and a deep architecture trained with heavy augmentation and equipped with sophisticated regularization methods. We test the approaches on a corpus of X-ray images to design an anatomy detection system.

연구 동기 및 목표

• 제한된 주석이 부여된 의료 영상 데이터 문제를 해결하기 위해 전이 학습과 데이터 증강 전략을 탐색한다.
• 자연 이미지에서 사전 훈련된 신경망이 의료 해부학적 구조 탐지에 일반화될 수 있는지 평가한다.
• 강한 정규화와 증강 기법을 사용할 경우, 소규모 의료 데이터셋에서 딥 네트워크를 효과적으로 훈련시킬 수 있는지 조사한다.
• 의료 데이터에 대해 엔드 투 엔드로 훈련된 맞춤형 아키텍처와 표준 특징 추출기(예: OverFeat) 간의 성능을 비교한다.

제안 방법

• ImageNet에서 사전 훈련된 OverFeat 네트워크를 X선 영상에서 4096차원 특징을 추출하도록 미세조정한다.
• 5중 교차 검증과 철저한 초모델 하이퍼파라미터 검색을 통해 정규화 파rameter(C)를 최적화한 선형 다중 클래스 SVM을 추출된 특징에 대해 훈련한다.
• Razavian 등에 의해 제안된 아키텍처를 영감으로 삼아 배치 정규화, 드롭아웃, 리 leaking ReLU 활성화 함수를 사용하는 맞춤형 딥 CNN을 설계한다.
• 효율적인 훈련 데이터를 늘리기 위해 크기 조정, 자르기, 회전, 이동, 기울임, 늘임, 뒤집기 등을 포함한 광범위한 데이터 증강 기법을 적용한다.
• 24개의 해부학적 종류를 가진 14,676장의 소규모 X선 영상 데이터셋에서 맞춤형 CNN을 엔드 투 엔드로 훈련한다.
• ImageClef 2009 의료 영상 데이터셋의 90/10 훈련-테스트 분할을 사용하여 두 접근 방식을 평가한다.

실험 결과

연구 질문

• RQ1 자연 이미지에서 사전 훈련된 신경망이 X선 영상에서 해부학적 구조 탐지에 효과적인 특징 추출기로 기능할 수 있는가?
• RQ2 사전 훈련된 네트워크를 사용한 전이 학습과 데이터 증강을 적용한 사전 훈련되지 않은 딥 네트워크를 끝내기까지 훈련한 성능는 어떻게 비교되는가?
• RQ3 데이터 증강과 정규화는 제한된 주석이 부여된 의료 훈련 데이터를 보완하는 데 얼마나 효과적인가?
• RQ4 사전 훈련된 네트워크의 마지막 레이어만 미세조정하는 것이 의료 영상 분석에서 효과적인 전이 학습 전략인가?

주요 결과

• OverFeat + SVM 접근 방식은 X선 해부학적 구조 탐지 작업에서 테스트 정확도 92.42%를 달성하였다.
• 강한 데이터 증강과 정규화를 적용한 맞춤형 CNN은 더 높은 정확도 95.14%를 기록하여 전이 학습 기반 모델을 초월하였다.
• OverFeat와 같은 사전 훈련된 네트워크는 원래 훈련 도메인 외부에 적용되어도 강력한 일반적인 이미지 기반 기술자로 기능한다.
• 충분히 깊은 아키텍처는 강력한 데이터 증강과 정규화 기법을 병행할 경우 소규모 의료 데이터셋에서 성공적으로 훈련될 수 있다.
• 사전 훈련된 네트워크의 마지막 레이어만 미세조정하는 것은 자원이 부족한 의료 영상 분석 환경에서 실현 가능하고 효과적인 전이 학습 전략이다.