[논문 리뷰] Sequential Interpretability: Methods, Applications, and Future Direction for Understanding Deep Learning Models in the Context of Sequential Data

Benjamin Shickel, Parisa Rashidi|arXiv (Cornell University)|2020. 04. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 92인용 수 12

한 줄 요약

이 논문은 시간 시리즈와 자연어 시퀀스와 같은 순차적 데이터에 적용된 딥러닝 모델을 위한 해석 가능성 방법에 대한 종합적인 리뷰를 제시한다. 기존 기법들을 통합하고 비순차적 방법과의 연관성을 강조하며, 특히 헬스케어와 같은 고위험 분야에서 모델의 투명성과 신뢰성을 높이기 위한 핵심 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Deep learning continues to revolutionize an ever-growing number of critical application areas including healthcare, transportation, finance, and basic sciences. Despite their increased predictive power, model transparency and human explainability remain a significant challenge due to the "black box" nature of modern deep learning models. In many cases the desired balance between interpretability and performance is predominately task specific. Human-centric domains such as healthcare necessitate a renewed focus on understanding how and why these frameworks are arriving at critical and potentially life-or-death decisions. Given the quantity of research and empirical successes of deep learning for computer vision, most of the existing interpretability research has focused on image processing techniques. Comparatively, less attention has been paid to interpreting deep learning frameworks using sequential data. Given recent deep learning advancements in highly sequential domains such as natural language processing and physiological signal processing, the need for deep sequential explanations is at an all-time high. In this paper, we review current techniques for interpreting deep learning techniques involving sequential data, identify similarities to non-sequential methods, and discuss current limitations and future avenues of sequential interpretability research.

연구 동기 및 목표

• 생명과 사면의 결과를 초래할 수 있는 고위험 분야인 헬스케어에서 모델의 해석 가능성에 대한 임상적 필요성을 해결한다.
• NLP 및 생리 신호 처리와 같은 순차적 작업에서 딥러닝이 널리 사용되고 있음에도 불구하고, 순차적 데이터에 초점을 맞춘 해석 가능성 연구의 격차를 규명한다.
• 순차적 데이터에 특화된 기존 해석 가능성 기법들을 체계적으로 검토하고, 컴퓨터 비전과 같은 비순차적 분야에서 사용되는 방법들과 비교한다.
• 현재 접근법의 한계를 강조하고, 순차적 딥러닝 모델의 투명성, 신뢰성, 인간의 신뢰도를 향상시키기 위한 향후 연구 방향을 제안한다.

제안 방법

• 순차적 딥러닝 모델을 위한 기존 해석 가능성 기법을 조사하고 분류하며, 주로 주의 메커니즘, 샐리언시 맵, 순서 기반 레이어별 중요도 전파(LRP)를 포함한다.
• 순차적 데이터와 비순차적 데이터의 해석 가능성 기법 간 유사점과 차이점을 매핑하여 공통 원칙과 도메인 특화 적응을 강조한다.
• 기울기 기반 할당 방법인 통합 기울기(Intergrated Gradients)와 Grad-CAM을 순환 및 트랜스포머 기반 아키텍처에 적응하여 모델 행동을 분석한다.
• 의료 분야(예: 심전도 및 중환자실 시계열 데이터)와 NLP 분야(예: 텍스트 분류 및 기계 번역)의 사례 연구를 통해 이러한 방법의 효과성을 평가한다.
• 정성적 및 정량적 지표를 활용하여 충실도, 안정성, 인간 해석 가능성 기반의 평가 프레임워크를 제안한다.
• 특성 할당, 반대 조건 분석, 개념 활성화 테스트(Captum 스타일 방법 포함)를 포함한 순차 모델링에서의 해석 가능성 작업 분류 체계를 제안한다.

실험 결과

연구 질문

• RQ1 순차적 데이터에서 딥러닝 모델을 해석하기 위한 현재 최고의 방법은 무엇이며, 이미지 기반 해석 기법과 비교해보면 어떻게 다른가?
• RQ2 RNN, LSTM, 트랜스포머 등 순차 입력에 대해 예측을 설명하는 데 있어 주의 메커니즘과 기울기 기반 방법의 성능은 어떠한가?
• RQ3 기존의 해석 가능성 도구가 순차적 데이터에 적용되었을 때의 주요 한계는 무엇이며, 특히 충실도와 내구성 측면에서 어떻게 나타나는가?
• RQ4 의료 진단 지원 시스템과 같은 인간 중심의 응용 분야에서 해석 가능성 방법을 어떻게 조정할 수 있는가?
• RQ5 순차적 딥러닝 모델의 투명성과 신뢰성을 향상시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 주의 가중치와 기울기 기반 샐리언시 맵과 같은 해석 가능성 기법은 널리 사용되지만, 순차적 모델에 적용되었을 때 일관성과 내구성이 떨어지는 경향이 있다.
• 주의 메커니즘은 직관적인 전역적 설명을 제공하지만, 특히 장기간의 시퀀스에서는 입력 토큰의 진정한 기여도를 반영하지 못할 수 있다.
• 통합 기울기와 같은 기울기 기반 방법은 기저값 보정을 통합할 경우 예측에 대한 입력 특징에 대한 충실도가 향상됨을 보였다.
• 순차적 모델의 해석 가능성에 대한 표준화된 평가 프로토콜이 부족하여 일관성 없는 벤치마킹과 재현성 문제를 야기하고 있다.
• 인간 평가 연구 결과, 설명이 시간적으로 국소화되어 있고 임상적 또는 도메인 특화 개념과 일치할 경우 모델 설명의 효과가 더 높아진다.
• 향후 연구는 순차적 데이터, 특히 헬스케어 및 시계열 예측 분야에서 충실도가 높고 안정적이며 사용자 검증이 이루어진 해석 가능성 도구 개발을 우선시해야 한다.