[논문 리뷰] AllenNLP Interpret: A Framework for Explaining Predictions of NLP Models

Eric Wallace, Jens Tuyls외 4명|arXiv (Cornell University)|2019. 09. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 23인용 수 14

한 줄 요약

AllenNLP Interpret는 기울기 기반의 시각화 지도 및 악성 공격를 사용하여 NLP 모델의 인스턴스 수준 해석을 가능하게 하는 오픈소스이며 확장 가능한 프레임워크입니다. 이 프레임워크는 모델에 종속되지 않는 API, 재사용 가능한 시각화 컴포넌트, AllenNLP와의 원활한 통합을 제공하여 BERT와 BiDAF를 포함한 다양한 모델을 이름 추출 및 마스킹된 언어 모델링과 같은 작업에서 최소한의 코드 변경으로도 쉽게 해석할 수 있도록 합니다.

ABSTRACT

Neural NLP models are increasingly accurate but are imperfect and opaque---they break in counterintuitive ways and leave end users puzzled at their behavior. Model interpretation methods ameliorate this opacity by providing explanations for specific model predictions. Unfortunately, existing interpretation codebases make it difficult to apply these methods to new models and tasks, which hinders adoption for practitioners and burdens interpretability researchers. We introduce AllenNLP Interpret, a flexible framework for interpreting NLP models. The toolkit provides interpretation primitives (e.g., input gradients) for any AllenNLP model and task, a suite of built-in interpretation methods, and a library of front-end visualization components. We demonstrate the toolkit's flexibility and utility by implementing live demos for five interpretation methods (e.g., saliency maps and adversarial attacks) on a variety of models and tasks (e.g., masked language modeling using BERT and reading comprehension using BiDAF). These demos, alongside our code and tutorials, are available at https://allennlp.org/interpret .

연구 동기 및 목표

• 다양한 아키텍처와 작업에서 NLP 모델을 해석하기 위한 민첩하고 재사용 가능한 도구의 부족을 해결합니다.
• 해석 방법을 적용하거나 확장하고자 하는 실무자와 해석 가능성 연구자들이 구현 부담을 줄일 수 있도록 합니다.
• 기존의 임베딩 매트릭스가 없는 최신의 컨텍스트 기반 모델인 BERT와 ELMo의 해석을 가능하게 합니다.
• 모델의 투명성과 사용자 신뢰를 향상시키기 위해 상호작용 가능하고 재사용 가능한 시각화 도구를 제공합니다.
• 확장 가능한 해석 워크플로우를 위해 실시간 데모와 배치 처리를 모두 지원합니다.

제안 방법

• 모든 AllenNLP 모델에서 입력 기울기를 계산할 수 있도록 모델 및 작업에 종속되지 않는 API를 제공하여 기울기 기반 해석을 가능하게 합니다.
• 세 가지 시각화 방법을 구현합니다: Vanilla Gradient, Integrated Gradients, SmoothGrad로, 각각 모델의 자체 예측을 손실 계산에 활용합니다.
• ELMo와 BERT와 같은 모델의 최종 비컨텍스트 레이어에서 파생된 컨텍스트 독립 임베딩 매트릭스를 도입하여 악성 공격에서 이산 토큰 검색을 가능하게 합니다.
• AllenNLP 데모 웹 프레임워크를 사용하여 재사용 가능한 HTML/JavaScript 컴포넌트를 활용해 시각화 지도 및 악성 변형을 상호작용적으로 표현합니다.
• 모듈화된 튜토리얼과 최소한의 코드 변경을 통해 새로운 모델과 해석 방법을 즉시 통합할 수 있도록 지원합니다.
• 해석 결과에 대해 실시간 상호작용 데모와 오프라인 배치 처리를 모두 지원합니다.

실험 결과

연구 질문

• RQ1 어떻게 다양한 NLP 모델과 작업에서 해석 방법을 접근 가능하고 재사용 가능하게 만들 수 있을까요?
• RQ2 BERT와 같은 컨텍스트 기반 모델에 기울기 기반 및 악성 공격 기반 해석 방법을 적용할 때 발생하는 과제는 무엇인가요?
• RQ3 통합 프레임워크는 실무에서 해석 도구를 구현할 때의 엔지니어링 부담을 어떻게 줄일 수 있을까요?
• RQ4 재사용 가능한 프론트엔드 컴포넌트는 상호작용 가능한 모델 해석 도구 배포를 얼마나 단순화시킬 수 있을까요?
• RQ5 기존의 해석 방법은 기존의 이산 임베딩 매트릭스가 없는 현대적 컨텍스트 임베딩과 어떻게 통합될 수 있을까요?

주요 결과

• AllenNLP Interpret는 최소한의 코드 변경으로도 기울기 기반 시각화 지도 및 악성 공격를 사용해 어떤 AllenNLP 모델이든 해석할 수 있습니다.
• 프레임워크는 BERT와 ELMo와 같은 컨텍스트 기반 모델의 해석을 성공적으로 지원하며, 악성 공격에서 이산 토큰 검색을 가능하게 하기 위해 컨텍스트 독립 임베딩 매트릭스를 구성합니다.
• 시각화 지도 및 악성 예제를 위한 상호작용 가능한 시각화 도구는 단 한 줄의 HTML 코드로도 실행되어 높은 재사용성과 낮은 통합 오버헤드를 입증합니다.
• 실시간 데모에서는 SQuAD 모델이 어휘적 일치에 의존하는 등 모델의 편향을 확인할 수 있었고, NER 모델이 'in downtown'을 보고 'Location'으로 예측하는 등의 의사결정 규칙도 드러났습니다.
• 이 툴킷은 감성 분류 모델이 'tony hawk style'라는 트리그램에 속임을 당하는 등의 모델 오류를 진단하는 데 기여합니다.
• 프레임워크는 실시간 상호작용 해석과 오프라인 배치 처리를 모두 지원하여 연구 및 구현 환경에서의 활용도를 높입니다.