[논문 리뷰] Model Explainability in Deep Learning Based Natural Language Processing

Shafie Gholizadeh, Nengfeng Zhou|arXiv (Cornell University)|2021. 06. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 21인용 수 10

한 줄 요약

이 논문은 딥러닝 기반 NLP 모델의 해석 가능성에 대해 계층별 중요도 전파(LRP)를 평가하며, 단어별 국소적 중요도 점수를 할당하고 전반적인 특징 중요도를 식별하는 데 그 효과를 입증한다. 연구 결과, Yelp 감성 데이터에서 모델의 약점을 탐지하기 위해 거짓 양성 및 거짓 음성 분석을 수행한 결과, LRP는 기울기 기반 및 순열 기반 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Machine learning (ML) model explainability has received growing attention, especially in the area related to model risk and regulations. In this paper, we reviewed and compared some popular ML model explainability methodologies, especially those related to Natural Language Processing (NLP) models. We then applied one of the NLP explainability methods Layer-wise Relevance Propagation (LRP) to a NLP classification model. We used the LRP method to derive a relevance score for each word in an instance, which is a local explainability. The relevance scores are then aggregated together to achieve global variable importance of the model. Through the case study, we also demonstrated how to apply the local explainability method to false positive and false negative instances to discover the weakness of a NLP model. These analysis can help us to understand NLP models better and reduce the risk due to the black-box nature of NLP models. We also identified some common issues due to the special natures of NLP models and discussed how explainability analysis can act as a control to detect these issues after the model has been trained.

연구 동기 및 목표

• NLP에서의 모델 해석 가능성 방법을 평가하고 비교함으로써, 특히 규제 및 리스크 관리 목적을 위해 활용할 수 있도록 한다.
• 계층별 중요도 전파(LRP)를 텍스트 분류 모델에 적용하여 국소적 및 전반적 특징 중요도 점수를 도출한다.
• 해석 가능성 분석을 통해 거짓 양성 및 거짓 음성 예측에서의 모델 약점을 탐지한다.
• 해석 가능성 분석을 통해 OOV 단어, 대체 지표, 편향과 같은 NLP 전용 문제를 식별한다.
• 해석 가능성 기법이 고위험 NLP 응용 분야에서 모델의 투명성을 높이고 리스크를 감소시키는 데 어떻게 기여할 수 있는지 입증한다.

제안 방법

• 학습된 NLP 분류기(SVM, Yelp 감성 데이터셋)에 LRP를 적용하여 개별 예측의 단어별 중요도 점수를 계산한다.
• 모든 인스턴스에 걸쳐 국소적 중요도 점수를 집계하여 모델의 전반적 특징 중요도를 도출한다.
• LRP를 사용해 거짓 양성 및 거짓 음성 예측를 분석하여 오해의 소지가 있거나 허위의 특징을 식별한다.
• 상관관계 및 성능 영향도 측정 지표를 사용하여 LRP를 기울기 기반, 순열 기반, SHAP 해석 가능성 방법과 비교한다.
• 상한선 기반 비교 및 아블레이션 테스트를 수행하여 LRP 점수 기반 상위 토큰을 제거함으로써 성능 저하 정도를 측정한다.
• 훈련 데이터와 평가 데이터의 중요도 점수 간 상관관계를 평가하여 일관성과 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 LRP는 기울기 기반, 순열 기반, SHAP 등의 다른 해석 가능성 방법과 비교해 NLP 모델에서 영향력 있는 단어를 식별하는 데 어떻게 성과를 내는가?
• RQ2 LRP는 거짓 양성 및 거짓 음성 예측에서 모델의 약점을 어느 정도 드러낼 수 있는가?
• RQ3 훈련 데이터와 평가 데이터 간 중요도 점수는 얼마나 안정적인가? 이는 모델 신뢰성에 어떤 함의를 갖는가?
• RQ4 해석 가능성 분석을 통해 OOV 단어, 대체 지표, 또는 인구 통계적 편향과 같은 공통적인 NLP 전용 문제를 어떻게 식별할 수 있는가?
• RQ5 해석 가능성 지표는 데이터 품질이나 편향과 관련된 모델 결함을 탐지하기 위한 사후 테스트 제어 수단으로 기능할 수 있는가?

주요 결과

• LRP는 기울기 기반 및 순열 기반 방법보다 영향력 있는 특징을 식별하는 데 뛰어난 성능을 보였으며, 특히 모델 오류 탐지에서 유의미한 성과를 거두었다.
• LRP 순위 기반 상위 10% 토큰을 제거했을 때 재현율이 가장 크게 감소하여 그들이 높은 예측 영향력을 지닌 것으로 나타났다.
• 훈련 데이터와 평가 데이터의 중요도 점수 간 상관관계가 높았으며, 특히 LRP와 SVM 순열 방법에서 두드러졌다. 이는 특징 중요도의 일관성을 시사한다.
• GbSA는 다른 방법과 낮은 상관관계를 보였으며, 특징 할당의 잠재적 불안정성을 시사한다.
• 해석 가능성 분석은 비영어 단어 사용, OOV 용어, 인구 통계적 대체 지표 의존성과 같은 문제적 패턴을 효과적으로 식별했다.
• 이 연구는 해석 가능성 기법이 규제 환경에서 특히 중요한 사후 테스트 제어 수단이 될 수 있음을 확인했다.