[논문 리뷰] Towards Explainable NLP: A Generative Explanation Framework for Text Classification

Mohammadi, Hadi, Bagheri, Ayoub외 1명|arXiv (Cornell University)|2018. 11. 01.

Topic Modeling참고 문헌 27인용 수 24

한 줄 요약

이 논문은 요약 및 속성 평가 점수와 같은 미세한 정보를 사용하여 개괄적이고 인간이 읽을 수 있는 설명을 생성하는 모델에 종속되지 않는 생성형 설명 프레임워크(GEF)를 제안한다. 설명 가능성 요소와 최소 위험 학습을 도입함으로써 GEF는 분류 정확도와 설명 품질을 모두 향상시키며, 명시적인 설명을 포함하는 두 개의 새로운 데이터셋에서 강력한 신경망 기반 베이스라인을 능가한다.

ABSTRACT

Building explainable systems is a critical problem in the field of Natural Language Processing (NLP), since most machine learning models provide no explanations for the predictions. Existing approaches for explainable machine learning systems tend to focus on interpreting the outputs or the connections between inputs and outputs. However, the fine-grained information is often ignored, and the systems do not explicitly generate the human-readable explanations. To better alleviate this problem, we propose a novel generative explanation framework that learns to make classification decisions and generate fine-grained explanations at the same time. More specifically, we introduce the explainable factor and the minimum risk training approach that learn to generate more reasonable explanations. We construct two new datasets that contain summaries, rating scores, and fine-grained reasons. We conduct experiments on both datasets, comparing with several strong neural network baseline systems. Experimental results show that our method surpasses all baselines on both datasets, and is able to generate concise explanations at the same time.

연구 동기 및 목표

• 기존 NLP 모델에서 흔히 블랙박스처럼 작동하기 때문에 인간이 읽을 수 있는 세부적인 설명이 부족한 문제를 해결하기 위해.
• 텍스트 분류와 동시에 생성형 설명을 생성하는 통합 프레임워크를 개발하기 위해.
• 예측의 근거를 명시적으로 모델링함으로써 모델의 신뢰성과 해석 가능성 향상을 위해.
• 텍스트 분류를 위한 세부적인 설명(요약, 평가 점수 포함)을 포함하는 두 개의 새로운 공개 데이터셋을 구축하고 배포하기 위해.
• 설명 생성을 통합함으로써 분류 성능과 설명 품질이 모두 향상됨을 입증하기 위해.

제안 방법

• 분류와 설명 생성을 동시에 최적화하는 하이브리드 생성-판별 프레임워크를 제안한다.
• 입력 텍스트와 생성된 설명 간의 관계를 명시적으로 모델링하기 위해 '설명 가능성 요소'를 도입한다.
• 생성된 설명이 금본 참조와 일치하도록 위험 기반 손실 함수를 최소화하는 최소 위험 학습을 사용하여 설명 품질을 최적화한다.
• 추출 기반 방법에 의존하는 대신, 간결하고 자연어 스타일의 설명을 생성하기 위해 개괄적 생성을 사용한다.
• CNN, LSTM, Transformer 등의 다양한 신경망 아키텍처에 적응 가능하여 프레임워크를 모델에 종속되지 않게 한다.
• 두 개의 새로 구축한 데이터셋을 활용한다: PCMag에서의 제품 리뷰(긍정/부정/중립 댓글 포함)와 Skytrax에서의 항공기 리뷰(다섯 가지 속성 평가 점수 포함).

실험 결과

연구 질문

• RQ1 통합 프레임워크는 동시에 텍스트 분류를 학습하고 고품질의 개괄적 설명을 생성할 수 있는가?
• RQ2 예를 들어 속성 평가 점수, 요약 댓글 등의 세부 정보를 통합함으로써 모델 성능과 설명 품질이 어떻게 향상되는가?
• RQ3 최소 위험 학습은 인간이 애너테이션한 참조와의 일치도를 높이기 위해 효과적으로 설명 생성을 최적화하는가?
• RQ4 제안된 프레임워크는 다양한 신경망 아키텍처에 효과적으로 적용될 수 있는가?
• RQ5 설명 생성을 통해 NLP 모델의 해석 가능성과 신뢰성은 어느 정도 향상되는가?

주요 결과

• 제안된 생성형 설명 프레임워크(GEF)는 PCMag와 Skytrax 데이터셋 양쪽에서 강력한 신경망 기반 베이스라인을 크게 능가하여 분류 정확도에서 뚜렷한 성능 향상을 보였다.
• GEF는 생성된 설명을 통해 예측의 근거를 명시적으로 모델링함으로써 모델 성능을 향상시켰다.
• 프레임워크는 간결하고 인간이 읽을 수 있는 설명을 생성하였으며, 이는 기존의 베이스라인 방법보다 더 정보가 풍부하고 금본 참조와 더 잘 일치하였다.
• 최소 위험 학습은 위험 기반 손실 함수를 통해 관련성과 유창성을 최적화함으로써 설명 품질을 효과적으로 향상시켰다.
• 개괄적 설명 생성 과정은 더 짧지만 더 정보가 풍부한 설명을 생성하였으며, 일부 드문 도메인 전용 단어는 가끔 <UNK> 토큰으로 대체되는 경향이 있었다.
• 저자들은 세부적인 설명을 포함하는 두 개의 새로운 공개 데이터셋을 배포하여 향후 해석 가능한 NLP 분야의 연구를 가능하게 하였다.