[논문 리뷰] Identification and Visualization of the Underlying Independent Causes of the Diagnostic of Diabetic Retinopathy made by a Deep Learning Classifier

J de la Torre, Aı̈da Valls외 2명|arXiv (Cornell University)|2018. 09. 23.

Retinal Imaging and Analysis참고 문헌 1인용 수 3

한 줄 요약

이 논문은 망막 사진에서 당뇨성 망막병증을 분류하기 위해 딥러닝 모델이 사용하는 수학적으로 구분되는 독립 원인을 식별하고 시각화하는 방법을 제안한다. 최종층의 특징에 독립성 성분 분석(ICA)을 적용하고 점수 시각화 기법을 사용함으로써, 인간 수준의 분류 성능(원래 지표의 99%)을 달성하기 위해 단지 세 개의 독립 성분으로도 충분하며, 각 성분은 별개의 병변 패atters를 강조함으로써 잡음과 잡음 요소를 걸러내면서 질병 징후를 정밀하게 국소화할 수 있음을 보여준다.

ABSTRACT

Interpretability is a key factor in the design of automatic classifiers for medical diagnosis. Deep learning models have been proven to be a very effective classification algorithm when trained in a supervised way with enough data. The main concern is the difficulty of inferring rationale interpretations from them. Different attempts have been done in last years in order to convert deep learning classifiers from high confidence statistical black box machines into self-explanatory models. In this paper we go forward into the generation of explanations by identifying the independent causes that use a deep learning model for classifying an image into a certain class. We use a combination of Independent Component Analysis with a Score Visualization technique. In this paper we study the medical problem of classifying an eye fundus image into 5 levels of Diabetic Retinopathy. We conclude that only 3 independent components are enough for the differentiation and correct classification between the 5 disease standard classes. We propose a method for visualizing them and detecting lesions from the generated visual maps.

연구 동기 및 목표

• 의료 진단에서 딥러닝 모델의 해석성 부족 문제를 해결하기 위해, 특히 망막 사진에서 당뇨성 망막병증을 분류하는 데에 초점을 맞춘다.
• 학습된 딥러닝 분류기가 진단 결정을 내릴 때 사용하는 기초적인 통계적 규칙성을 규명한다.
• 임상적 해석성을 위해 이미지 공간에서 이러한 독립 원인을 고립하고 국소화하는 시각화 방법을 개발한다.
• 분류 성능를 유지하기 위해 필요한 최소한의 성분 수를 규명하여 특징 공간의 부재를 줄인다.
• 모델이 망막 이미지의 진짜 병변과 잡음 또는 잡음 요소를 얼마나 잘 구분하는지 검증한다.

제안 방법

• 17층의 딥 네트워크에서 당뇨성 망막병증 분류를 위해 훈련된 모델의 최종 완전 연결층에서의 특징 표현에 독립성 성분 분석(ICA)을 적용한다.
• ICA를 사용하여 원래의 64차원 특징 공간을 분류 능력을 유지하면서 최소한의 통계적으로 독립된 성분으로 압축한다.
• 각 ICA 성분이 최종 분류 결정에 기여하는 정도를 시각화하기 위해 픽셀 수준의 관련성 전파 기법을 변형 적용한다.
• 시각화 방법은 네트워크를 통해 관련성을 역전파하여, 개별 ICA 성분에 집중함으로써 병변 관련 패턴을 국소화하는 점수 지도를 계산한다.
• 지역화된 관련성 점수를 계산하기 위해 61×61 픽셀의 수신장(Receptive Field)을 사용하며, 유의미한 기여를 강조하기 위해 ±2 표준편차 수준의 임계값을 설정한다.
• 원래 특징 공간과 ICA로 압축된 특징 공간 간의 분류 성능(2차 가중 카파)과 t-SNE 시각화를 비교함으로써 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 당뇨성 망막병증 분류를 위한 딥러닝 모델의 분류 성능를 유지하기 위해 필요한 최소한의 독립 성분 수는 얼마인가?
• RQ2 특징 공간 내에서 임상적으로 관련된 병변 패턴이 아닌 잡음이나 잡음 요소를 구분하는 통계적 규칙성은 무엇인가?
• RQ3 독립성 성분 분석이 딥러닝 모델의 분류 결정 원인을 효과적으로 분리하는 데에 적합한가?
• RQ4 제안된 시각화 방법이 실제 망막 병변을 모델 예측에 비해 얼마나 정확하게 국소화할 수 있는가?
• RQ5 ICA로 압축된 특징 공간은 얼마나 많은 레이어의 중복성을 줄이며, 同시에 모델의 진단 능력을 유지하는가?

주요 결과

• 원래 모델 성능의 99%를 확보하기 위해 단지 세 개의 독립 성분으로도 충분하며, 이는 2차 가중 카파(QWK)로 측정되었을 때 κ_original = 0.800, κ_ICA = 0.790로 확인되었다.
• ICA로 압축된 특징 공간은 원래 특징 공간과 유사한 t-SNE 시각화 품질을 유지함으로써 데이터 내 구조적 관계가 그대로 유지됨을 시사한다.
• ICA 성분 2는 실제 망막 병변과 거의 완벽하게 일치하며, 점수 지도에서 매우 낮은 위양성 및 위음성 비율을 보였다.
• ICA 성분 0과 1은 병변과 관련 없는 통계적 규칙성, 예를 들어 잡음과 잡음 요소를 포착하고 있어, ICA가 비병리적 패턴을 효과적으로 걸러내는 능력을 보여준다.
• 픽셀 수준의 점수 시각화 방법은 수학적으로 독립된 병변 지표를 정확하게 국소화하여 해석 가능한 병변 탐지가 가능하다.
• 이 방법은 일반화 능력이 뛰어나며, 당뇨성 망막병증 이외의 다른 의료 영상 분류 과제도 적용 가능하다.