[논문 리뷰] Interpretation of Deep Temporal Representations by Selective Visualization of Internally Activated Nodes

Sohee Cho, Ginkyeng Lee외 2명|arXiv (Cornell University)|2020. 04. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 29인용 수 7

한 줄 요약

이 논문은 수동으로 레이블링된 세그멘테이션 자료가 필요 없이 개별 채널을 활성화하는 대표성 있는 시간 패턴을 식별하고 시각화하여 딥 텀포럴 신경망을 해석하는 데 목적이 있는 CPHAP 프레임워크를 제안한다. 높이 활성화된 영역를 군집화하고 그에 대한 불확실성을 측정함으로써 CPHAP는 입력 패턴이 채널 반응을 어떻게 이끌어내는지 이해할 수 있도록 하며, LRP 및 무작위 선택 대비 더 뛰어난 내성적 특성을 보여준다.

ABSTRACT

Recently deep neural networks demonstrate competitive performances in classification and regression tasks for many temporal or sequential data. However, it is still hard to understand the classification mechanisms of temporal deep neural networks. In this paper, we propose two new frameworks to visualize temporal representations learned from deep neural networks. Given input data and output, our algorithm interprets the decision of temporal neural network by extracting highly activated periods and visualizes a sub-sequence of input data which contributes to activate the units. Furthermore, we characterize such sub-sequences with clustering and calculate the uncertainty of the suggested type and actual data. We also suggest Layer-wise Relevance from the output of a unit, not from the final output, with backward Monte-Carlo dropout to show the relevance scores of each input point to activate units with providing a visual representation of the uncertainty about this impact.

연구 동기 및 목표

• 수동으로 레이블링된 세그멘테이션 자료가 없는 시계열 데이터에 대해 딥 텀포럴 신경망의 해석 가능성 부족 문제를 해결하기 위해.
• 순차적 데이터를 위한 컨볼루션 신경망의 개별 채널을 활성화하는 대표성 있는 시간 패턴을 식별하고 시각화하기 위해.
• 이러한 패턴의 불확실성을 측정하여 새로운 입력이 훈련 데이터에서 흔히 관찰된 패턴과 유사한지 평가하기 위해.
• 시간 모델 내부의 특징 학습 과정을 직관적으로 이해할 수 있도록 채널 기반의 시각화 프레임워크를 제공하기 위해.

제안 방법

• 프레임워크는 은닉층을 거쳐 채널 활성화를 분석함으로써 입력 시퀀스 내에서 높이 활성화된 시간 영역를 식별한다.
• 유사한 활성화 영역를 군집화하여 각 채널에 대한 일반적이고 대표적인 시간 패턴을 추출한다.
• 각 군집의 불확실성을 계산하여 해당 채널을 활성화하는 입력 형태의 변동성을 나타낸다.
• 노이즈 하에서 채널 활성화의 변화를 측정함으로써 선택된 영역를 유지함으로써 내성적 특성을 평가하기 위해 펌버베이션 분석을 사용한다.
• 입력 데이터에 고정, 역수, 영점 펌버베이션을 적용하여 LRP 및 무작위 선택과의 성능를 비교한다.
• 낮은 수준의 특징과 높은 수준의 경향을 어떻게 포착하는지 보여주기 위해 다양한 레이어에서 채널 특화 시각화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 수동으로 레이블링된 세그멘테이션 자료에 의존하지 않고 딥 텀포럴 신경망의 개별 채널을 활성화하는 대표성 있는 시간 패턴을 식별하고 시각화하는 방법은 무엇인가?
• RQ2 관련성 기반 선택 대비, 선택된 시간 영역가 채널 활성화의 내성적 특성에 기여하는 정도는 어떠한가?
• RQ3 군집 소속의 불확실성은 사용자가 새로운 입력 패턴이 훈련 데이터에서 관찰된 패턴과 유사한지 평가하는 데 어떻게 기여하는가?
• RQ4 채널 기반의 시각화는 순차적 데이터를 위한 딥 러닝 모델의 시간 표현 해석 가능성 향상에 기여하는가?

주요 결과

• CPHAP는 고정 및 역수 펌버베이션 하에서 채널 활성화 내성적 특성을 LRP 및 무작위 선택보다 뛰어나게 유지하며, 활성화 변화가 유의미하게 낮게 나타났다.
• Uwave 데이터셋에서 영점 펌버베이션 하에서 80%의 경우 CPHAP가 LRP보다 활성화 차이가 적어, 더 나은 영역 선택 능력을 보였다.
• 프레임워크는 채널 반응을 이끄는 핵심적인 시간 하위시퀀스를 성공적으로 식별하였으며, CPHAP로 선택된 영역를 유지할 경우 활성화 변화가 거의 증가하지 않았다.
• 각 군집에 대한 불확실성 추정치는 새로운 입력 패턴이 훈련 중에 관찰된 패턴과 유사할 가능성이 있는지 평가하는 데 의미 있는 통찰을 제공하였다.
• 펌버베이션 분석을 통해 CPHAP가 선택한 영역를 유지할 경우 관련성 점수로 선택된 점들을 유지하는 것보다 채널 활성화가 더 안정되었음을 확인하였다.
• 이 방법은 시간 표현의 해석 가능하고 채널 기반의 시각화를 가능하게 하여 딥 네트워크가 순차적 특징을 어떻게 학습하는지에 대한 통찰을 제공한다.