[논문 리뷰] Classification of Medical Images and Illustrations in the Biomedical Literature Using Synergic Deep Learning

Jianpeng Zhang, Yong Xia외 2명|arXiv (Cornell University)|2017. 06. 28.

AI in cancer detection참고 문헌 7인용 수 29

한 줄 요약

이 논문은 의료 영상과 생물의학 문헌 내 그림의 분류를 향상시키기 위해 이중 딥 컨volution 신경망과 상호보완적 신호 시스템을 결합한 상호보완적 딥 러닝( SDL ) 모델을 제안한다. 이미지 쌍으로부터 공동으로 학습하고 오분류된 쌍에 대해 수정 피드백을 제공함으로써 SDL 모델는 ImageCLEF2016 벤치마크에서 기존 최고 성능 기록을 초월하는 최신 기술 수준의 정확도 86.58%를 달성한다.

ABSTRACT

The Classification of medical images and illustrations in the literature aims to label a medical image according to the modality it was produced or label an illustration according to its production attributes. It is an essential and challenging research hotspot in the area of automated literature review, retrieval and mining. The significant intra-class variation and inter-class similarity caused by the diverse imaging modalities and various illustration types brings a great deal of difficulties to the problem. In this paper, we propose a synergic deep learning (SDL) model to address this issue. Specifically, a dual deep convolutional neural network with a synergic signal system is designed to mutually learn image representation. The synergic signal is used to verify whether the input image pair belongs to the same category and to give the corrective feedback if a synergic error exists. Our SDL model can be trained 'end to end'. In the test phase, the class label of an input can be predicted by averaging the likelihood probabilities obtained by two convolutional neural network components. Experimental results on the ImageCLEF2016 Subfigure Classification Challenge suggest that our proposed SDL model achieves the state-of-the art performance in this medical image classification problem and its accuracy is higher than that of the first place solution on the Challenge leader board so far.

연구 동기 및 목표

• 의료 영상과 생물의학 문헌 내 그림의 분류 과제를 해결하기 위해, 내부 클래스 변동성과 외부 클래스 유사성이 정확한 분류를 방해하는 문제를 다루기 위해.
• 두 신경망 간 상호 감독을 활용하여 표현 학습을 향상시키는 딥 러닝 모델을 개발하기 위해.
• 시각적으로 유사하지만 의미적으로 다른 이미지(예: CT 뇌 스캔 대비 MR 뇌 스캔)의 오분류를 줄이기 위해 카테고리 일관성을 검증하는 상호보완적 신호 시스템을 통해.
• 작은, 불균형적인 의료 영상 데이터셋에서 더 나은 일반화 능력을 갖춘 엔드 투 엔드 학습을 달성하기 위해.

제안 방법

• 모델는 동일한 트레이닝 배치에서 온 이미지 쌍을 처리하는 두 개의 ResNet-50 기반 네트워크를 사용하는 이중-DCNN 아키텍처를 채택한다.
• 입력 이미지 쌍이 동일한 카테고리에 속하는지 확인하기 위해 상호보완적 신호 시스템을 도입한다. 일치하지 않는 경우 수정 피드백을 제공한다.
• 상호보완적 신호는 학습 중 특징 표현을 정교화하고 혼동스러운 샘플 간의 구별 능력을 향상시키기 위한 감독 신호로 사용된다.
• 추론 과정에서는 두 DCNN 구성 요소의 가능성 확률을 평균내어 예측 클래스를 도출함으로써 정확성과 강건성을 향상시킨다.
• 분류를 위한 교차 엔트로피 손실과 상호보완적 신호를 위한 콘트라스트 손실 성분을 포함하는 복합 손실 함수를 사용하여 엔드 투 엔드로 모델을 학습시킨다.
• 이 방법은 사전 학습된 딥 신경망 아키텍처와 호환되며, ResNet-152와 같은 더 깊은 모델과의 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 상호보완적 신호 시스템을 갖춘 이중-DCNN는 높은 내부 클래스 변동성과 외부 클래스 유사성을 가지는 의료 영상에서 분류 성능을 향상시킬 수 있는가?
• RQ2 상호보완적 신호 메커니즘은 시각적으로 유사하지만 의미적으로 다른 이미지 간의 구별 능력을 모델이 향상시키는 데 어떻게 기여하는가?
• RQ3 서로 피드백을 주고받는 두 개의 DCNN 앙상블은 ImageCLEF2016 하위도면 분류 과제에서 표준 단일 네트워크 또는 앙상블 기반 접근 방식을 능가하는가?
• RQ4 제안된 SDL 모델은 다양한 의료 영상 모odalities와 일러스트레이션 유형으로 일반화되는 정도는 어느 정도인가?

주요 결과

• 제안된 SDL 모델은 ImageCLEF2016 하위도면 분류 과제 데이터셋에서 테스트 정확도 86.58%를 달성하여, 제출 당시 1등 성과를 기록한 솔루션을 뛰어넘었다.
• SDL 모델 내 각 개별 DCNN 구성 요소는 동일한 데이터셋에서 미세조정을 거친 표준 ResNet-50 모델 대비 정확도를 2% 이상 향상시켰다.
• 모델은 대부분의 카테고리에서 일관된 성능 향상을 보였으며, ResNet-50 대비 16개 카테고리 중 12개에서 F-score 향상을 관찰했다.
• 혼동 행렬은 주요 및 보조 카테고리 전반에서 높은 분류 정확도를 보여주었으며, 불균형 데이터에서 강력한 일반화 능력을 보여주었다.
• 상호보완적 신호 시스템은 뇌 CT 대비 뇌 MR 영상과 같은 모호한 쌍의 오분류를 효과적으로 줄였으며, 학습 중 카테고리 일관성을 강제함으로써 기여했다.
• 모델의 성능은 강건하고 확장 가능했으며, ResNet-152와 같은 더 깊은 아키텍처와 조합할 경우 향후 성능 향상 가능성이 있다.