[논문 리뷰] A Sea of Words: An In-Depth Analysis of Anchors for Text Data

Gianluigi Lopardo, Fŕed́eric Precioso외 1명|arXiv (Cornell University)|2022. 05. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 2

한 줄 요약

이 논문은 텍스트 데이터에 대한 Anchors의 첫 이론적 분석을 제공하며, 전수 검색과 TF-IDF 벡터화 하에서 그 메커니즘을 체계화한다. 이는 선형 모델에서 역문서 빈도로 재가중된 최고의 양의 계수를 가진 단어를 Anchors가 선택함을 증명하며, 신경망에서는 부분 도함수를 통해 유사한 행동을 경험적으로 보여주어 해석 가능한 모델에서 이 방법의 행동에 대한 엄밀한 통찰을 제공한다.

ABSTRACT

Anchors (Ribeiro et al., 2018) is a post-hoc, rule-based interpretability method. For text data, it proposes to explain a decision by highlighting a small set of words (an anchor) such that the model to explain has similar outputs when they are present in a document. In this paper, we present the first theoretical analysis of Anchors, considering that the search for the best anchor is exhaustive. After formalizing the algorithm for text classification, we present explicit results on different classes of models when the vectorization step is TF-IDF, and words are replaced by a fixed out-of-dictionary token when removed. Our inquiry covers models such as elementary if-then rules and linear classifiers. We then leverage this analysis to gain insights on the behavior of Anchors for any differentiable classifiers. For neural networks, we empirically show that the words corresponding to the highest partial derivatives of the model with respect to the input, reweighted by the inverse document frequencies, are selected by Anchors.

연구 동기 및 목표

• 텍스트 분류를 위한 인기 있는 후행 해석 가능성 방법인 Anchors에 대한 엄밀한 이론적 기반을 제공하기 위해.
• 모델의 기능 중요도가 알려진 단순하고 해석 가능한 모델(예: 선형 분류기 및 if-then 규칙)에서 Anchors의 행동를 분석하기 위해.
• 이론적 통찰을 기초 모델에서 복잡한 모델(예: 신경망)으로 확장하기 위해.
• 실제 및 합성 데이터에서 수치 실험과 몬테카를로 시뮬레이션을 통해 이론적 주장의 타당성을 검증하기 위해.
• Anchors가 안정적이고 의미 있으며 예측 가능한 설명을 생성할 수 있는 조건을 설정하기 위해.

제안 방법

• TF-IDF 벡터화 및 OOV 토큰 대체를 가정하면서, 단어 부분집합에 대한 전수 검색을 사용하여 텍스트 분류를 위한 Anchors를 체계화한다.
• 비어 있는 단어 제거를 i.i.d. 베르누이 샘플링으로 모델링하여 정밀도와 커버리지의 확률적 분석을 가능하게 한다.
• 정밀도 함수의 변동에 대한 안정성 증명을 통해 전수 Anchors 알고리즘의 강인성을 보장한다.
• 특히 선형 및 규칙 기반 분류기에서 Anchors가 모델 계수에 기반해 단어를 선택하는 정확한 조건을 유도한다.
• 신경망에서 Anchors가 역문서 빈도로 스케일된 최고의 양의 부분 도함수를 가진 단어를 선택함을 경험적으로 검증한다.
• 몬테카를로 시뮬레이션과 누적분포함수 비교를 통해 다양한 파rameter 설정에서 이론적 근사치의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 선형 분류기에서 Anchors가 모델 예측에 가장 중요한 단어를 신뢰성 있게 식별하는 조건은 무엇인가?
• RQ2 기본 모델이 해석 가능한 if-then 규칙 시스템일 경우 Anchors는 어떻게 행동하는가?
• RQ3 간단한 모델에서 유도된 이론적 보장은 복잡하고 미분 가능한 모델(예: 신경망)으로 확장 가능한가?
• RQ4 Anchors의 선택과 딥러닝 모델에서의 기울기 기반 중요도 사이의 관계는 무엇인가?
• RQ5 역문서 빈도와 단어의 반복 빈도는 Anchors의 설명의 안정성과 정확성에 어떤 영향을 미치는가?

주요 결과

• 선형 분류기에서 Anchors는 역문서 빈도로 재가중된 최고의 양의 계수를 가진 단어를 증명적으로 선택하여 모델 논리와 일치함을 보장한다.
• if-then 규칙 모델에서 Anchors는 의미 있는 설명을 생성하지만, 빈도가 임계값을 초과할 경우 높은 빈도의 단어는 제외될 수 있다.
• 신경망에서 Anchors는 역문서 빈도로 스케일된 최고의 양의 부분 도함수에 해당하는 단어를 선택하며, 이는 기울기 기반 설명 방법과 연결된다.
• 전수 Anchors 알고리즘은 정밀도 함수의 변동에 대해 안정적이므로 이론적 기준으로서의 사용을 정당화한다.
• 몬테카를로 시뮬레이션을 통한 경험적 검증은 이론적 근사치를 확인하며, 특히 앵커 크기가 어휘 크기 대비 작을 경우에 특히 잘 맞는다.
• 그림 12–13은 Anchors가 예측 조건을 충족하는 경우에도 더 긴 중복 단어를 포함한 규칙보다 짧고 더 구체적인 규칙을 선호함을 보여준다.