[논문 리뷰] Explaining Deep Classification of Time-Series Data with Learned Prototypes

Alan H. Gee, Diego García-Olano외 2명|arXiv (Cornell University)|2019. 04. 18.

Phonocardiography and Auscultation Techniques참고 문헌 11인용 수 30

한 줄 요약

이 논문은 잠재 공간에서 다양한 대표성 있는 프로토타입을 학습함으로써 신경망 시계열 분류 모델의 해석 가능성성을 향상시키는 프로토타입 기반 설명 가능한 AI 프레임워크를 제안한다. 프로토타입 다양성 손실을 도입함으로써 심전도, 호흡, 음성 파형에서 분류 정확도와 커버리지가 향상되며, 브라디카르디아, 무호흡, 발성 조절 등의 임상적으로 유의미한 특징을 드러낸다.

ABSTRACT

The emergence of deep learning networks raises a need for explainable AI so that users and domain experts can be confident applying them to high-risk decisions. In this paper, we leverage data from the latent space induced by deep learning models to learn stereotypical representations or "prototypes" during training to elucidate the algorithmic decision-making process. We study how leveraging prototypes effect classification decisions of two dimensional time-series data in a few different settings: (1) electrocardiogram (ECG) waveforms to detect clinical bradycardia, a slowing of heart rate, in preterm infants, (2) respiration waveforms to detect apnea of prematurity, and (3) audio waveforms to classify spoken digits. We improve upon existing models by optimizing for increased prototype diversity and robustness, visualize how these prototypes in the latent space are used by the model to distinguish classes, and show that prototypes are capable of learning features on two dimensional time-series data to produce explainable insights during classification tasks. We show that the prototypes are capable of learning real-world features - bradycardia in ECG, apnea in respiration, and articulation in speech - as well as features within sub-classes. Our novel work leverages learned prototypical framework on two dimensional time-series data to produce explainable insights during classification tasks.

연구 동기 및 목표

• 고위험 임상 결정에 사용되는 딥 러닝 모델의 해석 가능성 부족 문제를 해결한다. 특히 신생아 집중 치료에서의 적용을 중심으로 한다.
• 후행 해석 기법의 한계를 극복하기 위해 프로토타입 학습을 학습 과정에 직접 통합함으로써 신뢰할 수 있고 과정 중 해석이 가능한 모델을 만든다.
• 겹침 또는 모호한 클래스 경계를 가진 시계열 데이터에서 모델 성능과 프로토타입 다양성을 향상시킨다.
• 임상 전문가와의 협업을 가능하게 하기 위해 해석 가능한 피드백 기반 프로토타입을 제공함으로써 임상적으로 의미 있는 표현형을 반영한다.
• 심전도, 호흡, 음성 파형에서 미세한 병리학적 특징을 탐지하는 데 있어 학습된 프로토타입의 유용성을 입증한다.

제안 방법

• 잠재 공간에서 재구성 및 분류를 동시에 최적화하기 위해 프로토타입 기반 오토인코더에 분류 헤드를 통합한다.
• 프로토타입 집합의 뭉치를 방지하고 고유하고 중복되지 않는 표현을 촉진하기 위해 손실 함수에 프로토타입 다양성 페널티 항목 $\lambda_{pd} \cdot PDL(p_1, ..., p_m)$ 을 도입한다.
• 잠재 공간 내 프로토타입 간의 $L_2$ 거리를 사용해 유사도를 측정하고, 유사성에 대한 페널티를 적용함으로써 다양성을 향상시킨다.
• 백프로파게이션을 통해 엔드 투 엔드로 모델을 훈련함으로써 프로토타입이 최적화 과정에서 업데이트되어 주목할 만한 대표적 특징을 반영하도록 한다.
• 2차원 잠재 공간에서 프로토타입을 시각화하여 브라디카르디아 또는 무호흡과 같은 임상적으로 의미 있는 신호 패턴과의 대응 관계를 이해한다.
• 다양성 하이퍼파rameter $\lambda_{pd}$ 를 미세 조정하여 프로토타입의 해석 가능성과 분류 정확도 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 딥 오토인코더 모델의 잠재 공간에서 학습된 프로토타입이 심전도, 호흡, 발성 파형과 같은 시계열 데이터에서 임상적으로 의미 있는 특징을 충실하게 표현할 수 있는가?
• RQ2 프로토타입 다양성 페널티를 도입함으로써 분류 정확도, 프로토타입 커버리지, 해석 가능성에 어떤 영향을 미치는가?
• RQ3 프로토타입은 인간이 구분하기 어려운 병리학적 표현형(예: 경증 대 비중증 브라디카르디아)의 미세하거나 겹치는, 또는 중간 정도의 특징을 어느 정도 드러낼 수 있는가?
• RQ4 다양한 신호 품질(예: 심전도 대 호흡 대 음성)을 가진 다양한 시계열 모odalities에서 모델의 성능과 프로토타입 품질은 어떻게 변화하는가?
• RQ5 임상의사가 프로토타입 기반 피드백을 통해 다양성 정규화 조정을 통해 모델 행동을 반복적으로 개선할 수 있는가?

주요 결과

• 프로토타입 다양성 페널티는 프로토타입의 고유성을 크게 향상시키며, $\lambda_{pd} = 500$ 일 때 기준선 대비 모든 작업에서 높은 다양성 점수를 기록한다.
• 다양성 하이퍼파rameter $\lambda_{pd}$ 를 미세 조정함으로써 분류 정확도와 데이터 커버리지가 향상되며, 특히 겹침 또는 모호한 클래스 경계가 존재하는 어려운 영역에서 두드러진다.
• 모델은 미세하거나 중간 정도의 클래스(예: 경증 브라디카르디아)에 더 많은 프로토타입을 할당하여 인간이 구분하기 어려운 특징을 포착한다.
• 네트워크 깊이를 증가시키고 학습률을 최적화함으로써 모든 세 가지 작업에서 정확도와 프로토타입 다양성이 더욱 향상된다.
• 작은 수의 프로토타입으로 근사적으로 완벽한 프로토타입 재구성을 달성하지만, 분류 정확도에 손해를 보이므로 해석 가능성과 성능 사이의 상충 관계를 보여준다.
• 이 프레임워크는 임상의사와 모델 간의 폐쇄형 협업을 가능하게 하여 전문가가 다양성 정규화를 통해 프로토타입 학습을 이끌어내 임상적으로 의미 있는 표현형을 발견할 수 있도록 한다.