[논문 리뷰] Techniques for visualizing LSTMs applied to electrocardiograms

Jos van der Westhuizen, Joan Lasenby|arXiv (Cornell University)|2017. 05. 23.

Time Series Analysis and Forecasting참고 문헌 41인용 수 14

한 줄 요약

이 논문은 단일 리드 심전도(ECG)에서 장단기 기억(LSTM) 네트워크를 해석하기 위한 네 가지 시각화 기법을 평가하며, 입력 삭제 마스크를 학습하는 것이 가장 효과적으로 주요 특징을 식별함을 발견한다. 이 방법은 가장 높은 클래스 점수 감소를 달성하고 의학 이론과 일치하며, ECG 분류에서 LSTM 결정의 가장 해석 가능하고 신뢰할 수 있는 설명을 제공한다.

ABSTRACT

This paper explores four different visualization techniques for long short-term memory (LSTM) networks applied to continuous-valued time series. On the datasets analysed, we find that the best visualization technique is to learn an input deletion mask that optimally reduces the true class score. With a specific focus on single-lead electrocardiograms from the MIT-BIH arrhythmia dataset, we show that salient input features for the LSTM classifier align well with medical theory.

연구 동기 및 목표

• 의료 시계열에서 LSTMs의 해석 가능성 향상, 특히 ECG 분류에 중점을 둔다.
• 연속된 실수값 시계열에서 주요 입력 특징을 식별하기 위한 네 가지 시각화 기법을 평가하고 비교한다.
• 임상 지식과 일치하는 의미 있는 패턴을 가장 잘 드러내는 기법을 규명한다.
• 구조적 수정 없이도 펌터베이션 기반 방법이 LSTM 결정을 설명하는 데 얼마나 효과적인지 평가한다.
• ECG 데이터에서 시각화 기법을 비교하기 위한 신뢰할 수 있고 정량적인 지표를 설정한다.

제안 방법

• 연구는 네 가지 시각화 기법을 평가한다: 시간적 출력 점수, 클래스 모드 시각화, 입력 가림, 학습된 입력 삭제 마스크.
• 입력 가림의 경우, 크기가 w인 슬라이딩 윈도우를 사용하여 입력 세그먼트를 마스킹하고, 해당 시점에서 클래스 점수 s_c의 감소를 측정한다.
• 학습된 삭제 마스크는 기울기 기반 최적화를 통해 진짜 클래스 점수를 가장 크게 감소시키는 최소 입력 영역을 식별하도록 최적화된다.
• 정규화된 점수 감소 지표를 사용하며, 이는 (T - M^(n))/T 비율에 의해 스케일링되어 더 큰 가림 영역에 대해 페널티를 부과한다.
• 모델 입력과 출력만을 사용하며, 구조적 수정이 필요 없으며, 단일 리드 ECG를 사용한 MIT-BIH 심 arrhythmia 데이터셋에 적용된다.
• 초기화 파rameter는 시각적 분석을 통해 튜닝되며, MIT-BIH에선 w=25, MNIST에선 w=5로 설정하고, α ∈ [0,1]은 가림 임계값을 설정한다.

실험 결과

연구 질문

• RQ1 LSTM을 연속된 실수값 시계열(예: ECG)에 적용할 때, 어떤 시각화 기법이 가장 효과적으로 주요 입력 특징을 식별하는가?
• RQ2 각 기법이 식별한 주요 특징이 심장 부정맥에 대한 기존 의학 지식과 얼마나 잘 일치하는가?
• RQ3 입력 삭제 마스크 학습과 같은 펌터베이션 기반 방법이 기울기 기반 또는 가림 기반 접근법보다 해석 가능성과 점수 감소 측면에서 뛰어나다고 할 수 있는가?
• RQ4 다양한 가림 임계값이나 입력 윈도우 크기에 따라 시각화 기법의 성능이 의미 있게 달라지는가?
• RQ5 각 클래스에 대해 전체 테스트 데이터셋에서 식별된 주요 영역이 얼마나 일관되게 유지되는가?

주요 결과

• 학습된 입력 삭제 마스크 기법이 진짜 클래스 점수 s_c의 평균 감소율이 가장 높았으며, 가림, 클래스 모드 시각화, 시간적 출력 점수를 모두 능가했다.
• α = 0.9일 때도 학습된 마스크는 여전히 s_c에 상당한 감소를 유도하여 분류에 가장 중요한 특징을 식별했다.
• 학습된 마스크가 식별한 주요 입력 영역은 QRS 복합파와 ST 세그먼트와 같이 의학적으로 알려진 ECG 특징과 잘 일치했다.
• 입력 가림과 마스크 기법은 임상적으로 관련 있는 특징을 효과적으로 식별했지만, 클래스 모드 시각화는 완전히 해석할 수 없는 결과를 도출했다.
• 학습된 마스크의 성능은 다양한 삭제 임계값에 대해 뛰어난 안정성을 보이며, α에 관계없이 핵심 특징을 일관되게 식별함을 시사했다.
• 연구에서 다변수 생리 신호는 시각화를 복잡하게 만들며, 다변수 LSTM의 해석 가능성은 여전히 열린 문제로 남아 있다.