[논문 리뷰] Evaluating neural network explanation methods using hybrid documents and morphological agreement

Nina Poerner, Benjamin Roth외 1명|arXiv (Cornell University)|2018. 01. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 8

한 줄 요약

이 논문은 NLP 모델의 설명 방법을 평가하기 위해 두 가지 새로운, 수동 주석이 필요 없는 평가 범주—혼합 문서와 형태계통적 일치—를 도입한다. 단어 순서에 민감한 모델을 대상으로 한 LIME 유사 방법인 LIMSSE를 제안하며, CNN, RNN, Quasi-RNN 등 다양한 모델 아키텍처에서 LRP, DeepLIFT, LIMSSE가 가장 효과적인 설명 방법임을 실증적으로 입증한다.

ABSTRACT

The behavior of deep neural networks (DNNs) is hard to understand. This makes it necessary to explore post hoc explanation methods. We conduct the first comprehensive evaluation of explanation methods for NLP. To this end, we design two novel evaluation paradigms that cover two important classes of NLP problems: small context and large context problems. Both paradigms require no manual annotation and are therefore broadly applicable. We also introduce LIMSSE, an explanation method inspired by LIME that is designed for NLP. We show empirically that LIMSSE, LRP and DeepLIFT are the most effective explanation methods and recommend them for explaining DNNs in NLP.

연구 동기 및 목표

• NLP에서 사후 설명 기법에 대한 신뢰성 있고 확장 가능한 평가 방법의 부족을 해결하기 위해.
• 비용이 많이 드는 인간 주석에 의존하지 않는 평가 범주를 개발하여 NLP 작업 전반에 걸쳐 널리 적용 가능하도록 하기 위해.
• CNN, RNN, Quasi-RNN 등 다양한 NLP 아키텍처에서 기존 설명 방법(예: LIME, LRP, DeepLIFT)의 효과성을 평가하기 위해.
• RNN 및 CNN 같은 단어 순서에 민감한 모델에 특화된 새로운 설명 방법인 LIMSSE를 제안하고 검증하기 위해.
• 특히 GDPR과 같은 규제 요구사항이 있는 실세계 NLP 구현에 가장 신뢰할 수 있는 설명 방법을 선택하는 데에 실증적 지침을 제공하기 위해.

제안 방법

• 하이브리드 문서 범주 설계: 서로 다른 문서의 조각을 무작위로 결합하여 하이브리드 입력을 생성하고, 원본 문서의 클래스 레이블을 유지한다.
• 형태계통적 일치 범주 설계: 주어-동사 일치가 다를 뿐이지 나머지는 동일한 문장 쌍(예: 'the children [verb]' 대비 'the child [verb]')을 사용하여 장거리 의존성에서 설명 방법의 성능을 평가한다.
• LIMSSE(Local Importance Model with Substitution and Shuffling) 도입: 마스크링과 단어 교체를 통해 훼손된 입력을 생성하여 특성 중요도를 추정하는 LIME 유사 방법.
• 하이브리드 및 일치 범주에서 작업 모델(CNN, GRU, LSTM 등)에 설명 방법(LIMSSE, LRP, DeepLIFT 등)을 적용하여 입력 토큰의 관련성 점수를 생성한다.
• 하이브리드 및 일치 작업에서 모델 예측 결과를 바탕으로 참값을 확보하여 설명의 정확도를 검증: 올바른 설명 방법은 올바른 입력 조각에 높은 관련성 점수를 할당해야 한다.
• 관련성 점수와 참값 관련성 간 상관관계 및 훼손에 따른 일관성 등을 측정하여 설명 품질 평가

실험 결과

연구 질문

• RQ1 소규모 컨텍스트 작업에서 기존 설명 방법(예: LRP, DeepLIFT, LIME)이 NLP 모델의 예측을 얼마나 효과적으로 설명할 수 있는가?
• RQ2 장거리 의존성(예: 주어-동사 일치)을 포함한 대규모 컨텍스트 작업에서 설명 방법이 정확하게 언어적 단서를 식별할 수 있는가?
• RQ3 하이브리드 문서 및 형태계통적 일치 작업에서 LIMSSE는 다른 설명 방법에 비해 정확도와 일관성 측면에서 어떻게 비교되는가?
• RQ4 사람이 주석한 관련성 기준은 모델 내부의 주의 메커니즘 패턴과 얼마나 일치하는가? 그리고 왜 이러한 기준이 잘못된 지표가 될 수 있는가?
• RQ5 다양한 NLP 아키텍처(CNN, RNN, Quasi-RNN)와 작업 유형에서 가장 강력하고 신뢰할 수 있는 설명 방법은 무엇인가?

주요 결과

• 하이브리드 문서 범주가 수동 주석 없이도 소규모 컨텍스트 작업에서 설명 방법을 평가하는 데 성공적으로 활용되었으며, 확장 가능한 평가를 가능하게 하였다.
• 형태계통적 일치 범주는 주어-동사 일치를 포함한 장기적 컨텍스트 NLP 작업에서 설명 방법을 평가하기 위한 신뢰할 수 있고 자동화된 벤치마크를 제공한다.
• 하이브리드 문서 평가에서 LIMSSE는 혼합 문서 입력에서 관련 조각을 식별하는 데 다른 방법들보다 뛰어난 성능을 보였다.
• LRP와 DeepLIFT는 두 평가 범주에서 가장 높은 일관성을 보이며 다양한 NLP 아키텍처에서 견고한 성능을 보였다.
• LIME 기반 방법, 특히 LIMSSE는 단어 순서에 민감한 모델인 RNN 및 CNN에서 강력한 성능을 보였으며, 이러한 아키텍처에 특화되지 않은 방법들보다 뛰어났다.
• 사람이 주석한 관련성 기준은 모델의 행동을 반영하지 않을 수 있으며, 예를 들어 인간이 주목하지 않은 희귀어(예: 'Kolstad')에 모델이 주목하는 사례를 통해 이는 명백해진다. 이는 모델 내부 평가의 필요성을 강조한다.