[논문 리뷰] Interpreting Deep Learning Models in Natural Language Processing: A Review

Xiaofei Sun, Diyi Yang외 7명|arXiv (Cornell University)|2021. 10. 20.

Topic Modeling참고 문헌 216인용 수 25

한 줄 요약

이 설문은 신경망 NLP 모델 해석 방법에 대한 포괄적 분류학과 경험적 검토를 제공하며, 학습 기반, 테스트 기반, 하이브리드 접근법을 다루고 현재의 한계와 향후 방향을 논의한다.

ABSTRACT

Neural network models have achieved state-of-the-art performances in a wide range of natural language processing (NLP) tasks. However, a long-standing criticism against neural network models is the lack of interpretability, which not only reduces the reliability of neural NLP systems but also limits the scope of their applications in areas where interpretability is essential (e.g., health care applications). In response, the increasing interest in interpreting neural NLP models has spurred a diverse array of interpretation methods over recent years. In this survey, we provide a comprehensive review of various interpretation methods for neural models in NLP. We first stretch out a high-level taxonomy for interpretation methods in NLP, i.e., training-based approaches, test-based approaches, and hybrid approaches. Next, we describe sub-categories in each category in detail, e.g., influence-function based methods, KNN-based methods, attention-based models, saliency-based methods, perturbation-based methods, etc. We point out deficiencies of current methods and suggest some avenues for future research.

연구 동기 및 목표

• 신경망 NLP 모델에 대한 해석 방법의 상위 수준 분류를 제공한다.
• 학습 기반, 테스트 기반, 하이브리드 해석 기법을 대표 방법들과 함께 조사한다.
• 향후 연구를 안내하기 위한 한계점, 도전과제, 개방 문제를 논의한다.
• 효율적 영향 함수 구현 및 랜드마크 기반 방법과 같은 실제적 발전을 강조한다.

제안 방법

• 학습 중심 대 테스트 중심, 그리고 공동 해석 대 사후 해석의 2차원 분류를 정의한다.
• 학습 기반 하위 범주로 영향 함수, KNN 기반 해석, 커널 기반 설명을 상세히 설명한다.
• 테스트 기반 하위 범주로 중요도(살리언시) 맵, 주의 기반 설명, 설명 생성 등을 상세히 설명한다.
• 학습과 테스트 관점을 결합한 하이브리드 접근법을 설명한다.
• 대표 연구를 제시하고 그것들이 분류학에 어떻게 맞는지 설명한다.
• 공동 구현과 사후 구현을 비교하고 예시 프레임워크(예: 주의는 공동, 사후 프로브) 등을 제시한다.

실험 결과

연구 질문

• RQ1 신경망 NLP 모델 해석 방법의 주요 범주와 하위 범주는 무엇인가?
• RQ2 학습 중심, 테스트 중심, 하이브리드 방법은 목표와 기제에서 어떻게 다른가?
• RQ3 각 범주 내의 강점, 한계 및 대표적 기법은 무엇인가?
• RQ4 신경망 NLP 해석 가능성에서 향후 연구의 개방 문제와 방향은 무엇인가?

주요 결과

• 이 논문은 신경망 NLP 해석 방법의 포괄적 분류학을 제시하며, 학습 기반, 테스트 기반, 하이브리드 접근법을 구분한다.
• 영향 함수, KNN 기반 방법, 커널 기반 설명은 학습 기반의 핵심 기법으로 논의된다.
• 살리언시 맵, 주의 기반 설명, 설명 생성은 핵심 테스트 기반 방법으로 검토된다.
• 효율적 구현(예: Turn-over dropout 및 알고리즘 최적화)은 영향 함수 기반 해석의 속도를 크게 가속화하여 최대 80x의 속도 향상을 달성한다.
• 랜드마크 기반 해석은 Layer-wise Relevance Propagation과 커널 아키텍처를 결합하여 해석 및 템플릿을 생성하고 공동 및 사후 해석을 가능하게 한다.
• 본 설문은 현재 방법의 한계를 강조하고 신경망 NLP 해석 가능성의 신뢰성과 적용성을 향상시키기 위한 향후 연구 방향과 개방 문제를 제시한다.