[논문 리뷰] Evaluating neural network explanation methods using hybrid documents and morphological prediction.

Nina Pörner, Hinrich Schütze외 1명|arXiv (Cornell University)|2018. 01. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 4

한 줄 요약

이 논문은 수동 주석 없이 NLP 모델 설명을 평가하기 위한 두 가지 자동화된 범주를 소개한다: 하이브리드 문서를 사용하는 방법과 형태계구문 일치를 활용하는 방법. 그 결과, 기울기 기반 방법이 CNN에 가장 적합하고, 메모리 셀 분해가 LSTMs에 뛰어난 성능을 보임을 입증하였으며, 하이브리드 문서 평가에서 최고 성능을 기록한 부분 문자열 기반 LIME 확장인 LIMSSE를 도입하였다.

ABSTRACT

We propose two novel paradigms for evaluating neural network explanations in NLP. The first paradigm works on hybrid documents, the second exploits morphosyntactic agreements. Neither paradigm requires manual annotations; instead, a relevance ground truth is generated automatically. In our experiments, successful explanations for Long Short Term Memory networks (LSTMs) were produced by a decomposition of memory cells (Murdoch & Szlam, 2017), while for convolutional neural networks, a gradient-based method by (Denil et al., 2014) works well. We also introduce LIMSSE, a substring-based extension of LIME (Ribeiro et al., 2016) that produces the most successful explanations in the hybrid document experiment.

연구 동기 및 목표

• NLP에서 신경망 설명에 대한 자동화되고 주석이 없는 평가 프레임워크를 개발하기 위해.
• NLP 모델의 설명 기법에 대한 신뢰할 수 있고 확장 가능한 평가 방법의 부족을 해결하기 위해.
• 다양한 아키텍처에서 기울기 기반 및 메모리 셀 분해와 같은 다양한 설명 기법의 효과성을 비교하기 위해.
• 하이브리드 문서 평가 환경에서 새로운 하이브리드 문서 평가 설정에서 LIMSSE—LIME의 부분 문자열 기반 확장—를 도입하고 평가하기 위해.
• 언어적 구조와 형태계구문 일致성에 기반한 자동으로 생성된 관련성 기준의 신뢰성을 검증하기 위해.

제안 방법

• 첫 번째 범주에서는 구조적 일관성을 바탕으로 제어된 언어적 변형을 가진 인위적 텍스트인 하이브리드 문서를 사용하여 자동으로 관련성 기준을 생성한다.
• 두 번째 범주는 문장 내 형태계구문 일치(예: 주어-동사 일치)를 활용하여 예측 결과에 관련된 토큰을 추론한다.
• 관련성 기준은 인간 주석이 아닌 언어 규칙과 구조적 불변성에서 자동으로 유도되며, 수동 주석이 필요 없다.
• LIMSSE는 LIME을 부분 문자열 수준에서 작동하도록 확장하여 하이브리드 문서 환경에서 정밀도를 향상시킨다.
• 설명은 자동으로 생성된 관련성 기준과의 일치도를 상관계수 또는 유사도 측정 기준으로 평가한다.
• 실험은 하이브리드 문서 평가 및 형태계구문 일치 평가 두 가지 범주를 사용하여 LSTM 및 CNN 아키텍처에서 다양한 설명 기법을 비교한다.

실험 결과

연구 질문

• RQ1 문장 내 형태계구문 일치는 설명 평가를 위한 자동 관련성 레이블 생성에 신뢰성 있게 활용될 수 있는가?
• RQ2 기울기 기반 설명 기법과 메모리 셀 분해 기법은 CNN 및 LSTM 예측을 설명하는 데 얼마나 효과적인가?
• RQ3 하이브리드 문서 평가에서 LIMSSE는 표준 LIME에 비해 설명 품질을 얼마나 향상시키는가?
• RQ4 하이브리드 문서는 인간 주석 없이도 안정적이고 확장 가능한 벤치마크로 기능할 수 있는가?
• RQ5 다양한 설명 기법은 언어적 구조에서 유도된 자동으로 생성된 관련성 신호와 얼마나 잘 일치하는가?

주요 결과

• Denil 등(2014)이 제안한 기울기 기반 설명 기법은 합성곱 신경망에 대해 가장 정확한 설명을 생성하였다.
• Murdoch 및 Szlam(2017)이 도입한 메모리 셀 분해 기법은 장기 단기 기억망에 대해 가장 효과적인 설명을 제공하였다.
• LIMSSE는 LIME의 부분 문자열 기반 확장으로서 하이브리드 문서 평가 범주에서 최고의 성능을 기록하였다.
• 형태계구문 일치의 활용은 인간 주석 없이도 신뢰할 수 있는 자동 관련성 기준 생성을 가능하게 하였다.
• 하이브리드 문서 범주는 인간 주석 없이도 안정적이고 재현 가능한 NLP 설명 기법 평가의 벤치마크로 기능하였다.
• 제안된 두 평가 범주 모두 고품질의 설명 기법을 성공적으로 식별하였으며, 자동 평가에 대한 유용성을 검증하였다.