[논문 리뷰] Explaining and Improving Model Behavior with k Nearest Neighbor Representations

Nazneen Fatema Rajani, Ben Krause외 4명|arXiv (Cornell University)|2020. 10. 18.

Bayesian Modeling and Causal Inference참고 문헌 40인용 수 28

한 줄 요약

이 논문은 자연어 추론(NLI)에서 특히, 깊이 있는 신경망의 은닉 표현에 대해 k개 이웃( kNN)을 사용하여 NLP 모델의 행동을 해석하고 향상시키는 방법을 제안한다. 테스트 입력과 가장 유사한 훈련 예제를 검색함으로써, kNN은 예측을 설명하고, 부도덕한 상관관계를 드러내며, 잘못 레이블링된 데이터를 식별하고, 모델의 강건성을 높인다 — 모델 파라미터를 업데이트하지 않고도, 공격적이고 증강된 NLI 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Interpretability techniques in NLP have mainly focused on understanding individual predictions using attention visualization or gradient-based saliency maps over tokens. We propose using k nearest neighbor (kNN) representations to identify training examples responsible for a model's predictions and obtain a corpus-level understanding of the model's behavior. Apart from interpretability, we show that kNN representations are effective at uncovering learned spurious associations, identifying mislabeled examples, and improving the fine-tuned model's performance. We focus on Natural Language Inference (NLI) as a case study and experiment with multiple datasets. Our method deploys backoff to kNN for BERT and RoBERTa on examples with low model confidence without any update to the model parameters. Our results indicate that the kNN approach makes the finetuned model more robust to adversarial inputs.

연구 동기 및 목표

• 개별 예측 설명을 넘어서, 스케일링 가능한 모델에 종속되지 않는 방법으로 NLP 모델 행동을 해석하는 것을 목표로 한다.
• kNN을 이용해 훈련 인스턴스를 검색하여 NLI 데이터셋에서 부도덕한 상관관계와 잘못 레이블링된 예제를 식별하고 진단하는 것.
• 微조정된 모델이 불확실할 경우 kNN 예측으로 백오프하여 모델의 강건성을 향상시키는 것.
• kNN 이웃 분석을 통해 영향력 있는 훈련 예제를 식별함으로써 코퍼스 수준의 해석 가능성 제공.
• kNN을 통한 표현 분석이 깊이 있는 모델만으로는 달성하기 어려운 더 나은 결정 경계를 제공할 수 있으며, 특히 공격적 입력에서 유의미한 성능 향상을 이끌어내는지 입증하는 것.

제안 방법

• 각 테스트 입력에 대해, 미세조정된 BERT 및 RoBERTa 모델의 은닉 표현에 kNN을 적용하여 가장 유사한 k개의 훈련 예제를 검색한다.
• 추론 시점에서 신뢰도 임계값을 사용하여, 모델 예측을 사용할지 또는 kNN 예측으로 백오프할지 결정한다.
• 벡터 검색을 위해 FAISS를 사용함으로써 kNN 접근법은 계산적으로 효율적이며, 대규모 데이터셋에 대한 확장성 확보.
• kNN을 사용해 잘못 분류된 예제를 분석함으로써, 부도덕한 상관관계 패턴과 잠재적인 잘못 레이블링된 훈련 인스턴스를 드러낸다.
• SNLI, MNLI, ANLI, HANS를 포함한 여러 NLI 데이터셋에 대해 적용하며, 문법적 및 어휘적 패턴에 대한 분석 및 추론 분석을 수행한다.
• kNN 예측과 모델 예측을 혼합하여 일반화 및 강건성을 향상시키며, 특히 도전적인 예제에서 유의미한 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 은닉 표현에 대한 kNN이 코퍼스 수준에서 NLP 모델 행동을 해석하는 데 있어 확장 가능하고 모델에 종속되지 않는 방법이 될 수 있는가?
• RQ2 kNN은 모델 실패의 원인이 되는 부도덕한 상관관계와 잘못 레이블링된 예제를 얼마나 효과적으로 드러내는가?
• RQ3 kNN 예측으로 백오프하면 공격적 및 분포 외부 예측에서 모델의 강건성이 향상되는가?
• RQ4 kNN은 특정 예측을 설명할 수 있는 훈련 예제를 검색하여, 주의 메트릭이나 중요도 맵보다 더 충실한 해석 가능성을 제공하는가?
• RQ5 kNN은 NLI 벤치마크에서 특히 어려운 또는 증강된 데이터에서 성능 향상에 얼마나 기여하는가?

주요 결과

• kNN 백오프는 증강된 SNLI와 ANLI에서 성능을 크게 향상시키며, BERT는 각각 F1 0.95와 0.96을 기록하여 표준 미세조정 모델을 능가한다.
• HANS 벤치마크에서 kNN은 RoBERTa의 어려운 'not-entail' 클래스의 F1을 52.7%에서 54.7%로 향상시켜 강건성 향상을 입증한다.
• 잘못 분류된 예제의 kNN 검색은 자주 잘못 레이블링된 훈련 인스턴스를 식별하며, 데이터 품질 진단을 가능하게 한다.
• 기본 모델보다 kNN 모델이 더 세밀한 결정 경계를 학습하여, 모델 예측을 뒤바꾸는 작은 변형에 더 강건하다.
• 작은 데이터셋에서 영향 함수 대비 kNN은 약 300배 빠른 추론 속도를 기록하며, 데이터셋이 커질수록 속도 향상 비율이 증가한다.
• 시각화 결과는 kNN 예측이 특히 부정성 및 부분열거 일치와 같은 문법적 및 어휘적 패턴에서 인간의 레이블링 근거와 더 잘 일치함을 보여준다.