[논문 리뷰] Towards Hierarchical Importance Attribution: Explaining Compositional Semantics for Neural Sequence Models

Xisen Jin, Zhongyu Wei외 3명|arXiv (Cornell University)|2019. 11. 07.

Explainable Artificial Intelligence (XAI)참고 문헌 34인용 수 74

한 줄 요약

이 논문은 계층적 설명을 위해 신경 시퀀스 모델의 맥락 독립적 구의 중요성을 형식화하고 LSTM 및 BERT 모델의 구성적 의미를 밝히는 두 알고리즘인 SCD와 SOC를 도입한다.

ABSTRACT

The impressive performance of neural networks on natural language processing tasks attributes to their ability to model complicated word and phrase compositions. To explain how the model handles semantic compositions, we study hierarchical explanation of neural network predictions. We identify non-additivity and context independent importance attributions within hierarchies as two desirable properties for highlighting word and phrase compositions. We show some prior efforts on hierarchical explanations, e.g. contextual decomposition, do not satisfy the desired properties mathematically, leading to inconsistent explanation quality in different models. In this paper, we start by proposing a formal and general way to quantify the importance of each word and phrase. Following the formulation, we propose Sampling and Contextual Decomposition (SCD) algorithm and Sampling and Occlusion (SOC) algorithm. Human and metrics evaluation on both LSTM models and BERT Transformer models on multiple datasets show that our algorithms outperform prior hierarchical explanation algorithms. Our algorithms help to visualize semantic composition captured by models, extract classification rules and improve human trust of models. Project page: https://inklab.usc.edu/hiexpl/

연구 동기 및 목표

• 신경 시퀀스 모델에서 의미 구성의 계층적이며 비가법적(non-additive) 설명의 필요성을 동기 부여한다.
• N-맥락 창 전반에 걸친 구의 맥락 독립적 중요성에 대한 형식적 측정을 제안한다.
• 실용적 설명을 위해 이 측정을 작동화하는 두 알고리즘(SCD 및 SOC)을 개발한다.
• SST-2, Yelp, TACRED 데이터셋에서 LSTM 및 BERT를 대상으로 바탕선 대비 개선을 보이며 평가한다.
• 시각화, 규칙 추출, 모델 예측에 대한 인간의 신뢰도 향상에 유용함을 보여준다.

제안 방법

• 구의 N-context 독립적 중요성을 구가 마스킹될 때의 예측 차이의 기대값으로 정의하고 이를 둘레 맥락에서 평균화한다(Eq. 3/4).
• 계층적 설명에 바람직한 특성으로 비가법성과 맥락 독립성을 확인한다(Section 3.1).
• CD의 활성화 분해를 맥락 독립성을 만족하도록 조절하여 Sampling and Contextual Decomposition(SCD)을 제안한다(Eq. 5).
• 맥락 샘플링과 구 마스킹을 사용하는 간단하고 모델 비특이적 대안으로 Sampling and Occlusion(SOC)을 제안한다(Eq. 8).
• 맥락 샘플링을 사전 학습된 양방향 언어 모델을 통해 주변 맥락을 생성하는 방식으로 구현한다(Section 3.3, 3.4).
• SST-2, Yelp, TACRED 데이터셋에서 Input Occlusion, Direct Feed, GradSHAP, CD, ACD를 벤치마크로 하여 평가한다(Section 4).

실험 결과

연구 질문

• RQ1 신경 시퀀스 모델에서 구의 맥락 독립적 중요성을 어떻게 정량화할 수 있는가?
• RQ2 비가법성과 맥락 독립성을 존중하는 계층적 설명이 기존 방법보다 구성적 의미를 더 충실하게 시각화하는가?
• RQ3 SCD와 SOC가 CD/ACD 및 다른 벤치마크보다 인간의 판단 및 진짜 구문 주석과 더 잘 일치하는가?
• RQ4 이러한 설명이 분류 규칙 추출 및 모델 예측에 대한 인간의 신뢰도 증가에 도움을 주는가?
• RQ5 제안된 방법이 LSTM과 Transformer 아키텍처 모두 및 다양한 NLP 작업에서 효과적인가?

주요 결과

• 구의 맥락 독립적 중요성은 구가 마스킹될 때의 주변 맥락의 예측 차이의 기대값으로 정량화될 수 있다(Eq. 3/4).
• SCD 및 SOC는 SST-2, Yelp, TACRED 전반에서 단어/구의 상관도 측면에서 CD, ACD 및 벤치마크를 일관되게 능가한다.
• SOC 및 SCD는 특히 Transformer 모델에서 단어 ρ 및 구 ρ 점수가 더 높게 나타난다.
• 인간 평가에 따르면 SOC/SCD 설명은 SST-2 및 TACRED에서 GradSHAP, ACD 및 CD보다 모델 예측에 대한 신뢰를 높이는 것으로 나타난다.
• 이 방법들은 구성적 의미의 계층적 시각화, 규칙 추출 및 해석성 향상을 가능하게 하며 예측 성능을 저하시키지 않는다.