[논문 리뷰] Interpretation of Black Box NLP Models: A Survey

Shivani Choudhary, Niladri Chatterjee외 1명|arXiv (Cornell University)|2022. 03. 31.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 종합 검토는 블랙박스 NLP 모델을 위한 해석 가능성 방법에 대한 포괄적인 개요를 제공하며, 기능 중요도, 적대적 예외, 반사적 설명, 국소 대체 모델, 인과 방법의 다섯 가지 주요 접근 방식으로 기법을 분류한다. 연구는 이러한 방법 간의 상호보완성을 강조하며, 표준화된 평가 부족과 같은 핵심 과제를 밝히고, 고위험 분야에서 윤리적, 신뢰성 있고 공정한 AI 응용을 위해 사용자 중심의 해석 가능성의 중요성을 강조한다.

ABSTRACT

An increasing number of machine learning models have been deployed in domains with high stakes such as finance and healthcare. Despite their superior performances, many models are black boxes in nature which are hard to explain. There are growing efforts for researchers to develop methods to interpret these black-box models. Post hoc explanations based on perturbations, such as LIME, are widely used approaches to interpret a machine learning model after it has been built. This class of methods has been shown to exhibit large instability, posing serious challenges to the effectiveness of the method itself and harming user trust. In this paper, we propose S-LIME, which utilizes a hypothesis testing framework based on central limit theorem for determining the number of perturbation points needed to guarantee stability of the resulting explanation. Experiments on both simulated and real world data sets are provided to demonstrate the effectiveness of our method.

연구 동기 및 목표

• 의료, 형사 사법, 금융과 같은 고위험 NLP 응용 분야에서의 해석 가능성에 대한 필수적인 필요성을 해결하기 위해.
• 기능 중요도, 적대적 예외, 대체 예측, 대체 모델, 인과적 접근 방식을 포함한 NLP에서의 해석 가능성 기법을 식별하고 분류하기 위해.
• 현재 해석 가능성 기법의 한계, 특히 표준화된 평가 지표와 사용자 중심 설계의 부족을 검토하기 위해.
• 편향 및 공정성과 같은 윤리적 우려 사항을 강조하기 위해, 특히 편향되거나 왜곡된 데이터셋으로 훈련된 모델에서 특히 그렇다.
• 사용자의 이해, 책임성, 모델 결정에 대한 신뢰를 지원하는 해석 가능성 기법을 주장하기 위해.

제안 방법

• 해석 가능성 기법을 다섯 가지 범주로 분류한다: 기능 중요도, 적대적 예외, 반사적 설명, 국소 대체 모델, 인과 방법.
• 기울기 기반 및 시각화 기반 방법(예: 통합 기울기, Grad-CAM)을 검토하여 영향력 있는 입력 토큰을 식별한다.
• 적대적 예외(AE)를 입력 공간에서의 변형으로 간주하여 모델의 강건성 테스트 및 입력 변형을 통한 설명 생성을 분석한다.
• 마스크된 입력과 제어 명령어(예: 否정)를 사용하여 예측를 변경하는 대체 입력을 생성하는 반사적 설명(CE)을 탐구한다.
• GPT-2와 T5(예: Polyjuice 및 MiCE에서 사용)와 같은 사전 훈련된 언어 모델을 활용하여 의미적으로 일관된 반사적 설명을 생성한다.
• 인과 중재 분석 및 탐색 기법을 적용하여 모델 표현에서 특정 기능 또는 개념의 영향을 고립한다.

실험 결과

연구 질문

• RQ1 다양한 전문 수준의 최종 사용자에게 의미 있는 방식으로 NLP 모델의 해석 가능성을 평가하는 방법은 무엇인가?
• RQ2 NLP에서 인과적 해석 가능성 기법과 비인과적 기법 간의 주요 차이점은 무엇이며, 이는 모델의 강건성과 어떻게 관련이 있는가?
• RQ3 기존의 해석 가능성 기법들이 모델 예측에서 편향 및 공정성과 같은 윤리적 문제를 어느 정도 해결하고 있는가?
• RQ4 반사적 설명과 적대적 예외는 모델의 투명성과 신뢰성을 향상시키는 데 어떻게 활용될 수 있는가?
• RQ5 왜 해석 가능성에 대한 표준화된 정량적 평가 지표가 부족한가, 그리고 이를 어떻게 보완할 수 있는가?

주요 결과

• 해석 가능성에 대한 통일된 정의나 평가 지표가 없어 연구 간 일관성 없는 벤치마킹이 발생하고 있다.
• 반사적 설명 및 중재 분석을 포함한 인과 해석 가능성 기법은 특정 기능의 영향을 고립함으로써 모델 결정을 설명하는 데 강력한 잠재력을 보이고 있다.
• MiCE 및 Polyjuice와 같은 기법은 미세조정된 T5 및 GPT-2 모델을 활용하여 높은 신뢰도와 해석 가능성으로 의미적으로 일관된 반사적 설명을 생성한다.
• 적대적 예외와 입력 변형은 모델의 취약성을 드러내고, 예를 들어 이미지 기반 NLP 작업에서 눈 덮인 영역과 같은 비합리적인 상관관계를 식별하는 데 도움이 된다.
• 자연어 기반 설명과 반사적 설명은 모델 파라미터나 주의 맵보다 비전문가 사용자에게 더 접근하기 쉬운 편이다.
• 진전이 있었음에도 불구하고 대부분의 해석 가능성 기법은 최종 사용자보다 모델 개발자 중심에 머물러 있어 사용자 중심 설계의 격차를 드러내고 있다.