[논문 리뷰] Polyjuice: Generating Counterfactuals for Explaining, Evaluating, and Improving Models

Tongshuang Wu, Marco Túlio Ribeiro외 2명|arXiv (Cornell University)|2021. 01. 01.

Topic Modeling참고 문헌 76인용 수 22

한 줄 요약

Polyjuice는 쌍방향 문장 데이터셋에서 학습하여 NLP 모델의 다양한 제어 가능한 역설적 문장을 생성하는 파인튜닝된 GPT-2 모델이다. 제어 코드를 통해 변화 유형과 위치를 제어함으로써, 데이터 증강에서 약 70% 감소한 주석 작업을 가능하게 하며, 세 가지 작업에서 모델 평가, 해석 및 오류 분석 향상에 기여한다.

ABSTRACT

While counterfactual examples are useful for analysis and training of NLP models, current generation methods either rely on manual labor to create very few counterfactuals, or only instantiate limited types of perturbations such as paraphrases or word substitutions. We present Polyjuice, a general-purpose counterfactual generator that allows for control over perturbation types and locations, trained by finetuning GPT-2 on multiple datasets of paired sentences. We show that Polyjuice produces diverse sets of realistic counterfactuals, which in turn are useful in various distinct applications: improving training and evaluation on three different tasks (with around 70% less annotation effort than manual generation), augmenting state-of-the-art explanation techniques, and supporting systematic counterfactual error analysis by revealing behaviors easily missed by human experts.

연구 동기 및 목표

• NLP에서 수동으로 생성하는 역설적 문장의 높은 비용과 일관성 부족 문제를 해결하기 위해 일반 목적의 생성기로 자동화 과정을 도입한다.
• 예측 변경 또는 레이블 변경에만 초점을 맞춘 태스크별 역설적 문장 생성기의 한계를 극복한다.
• 하류 응용 프로그램 선택과 분리하여 다양한 NLP 태스크에 걸쳐 역설적 문장의 광범위한 적용 가능성을 확보한다.
• 높은 품질과 다양한 역설적 문장을 생성함으로써 인간이 참여하는 워크플로우를 지원하여 수동 레이블링 부담을 줄인다.
• 인간 전문가나 표준 해석 방법이 놓치는 행동을 드러내어 체계적인 모델 오류 분석을 가능하게 한다.

제안 방법

• 원본 문장과 역설적 문장의 쌍을 포함한 여러 데이터셋을 기반으로 GPT-2를 파인튜닝하여 다양한 역설적 문장을 조건부로 생성하는 능력을 습득한다.
• 제어 코드(예: 부정, 삭제)와 빈칸 채우기 템플릿을 도입하여 입력에서 변화 유형과 위치를 명시한다.
• 역설적 문장 생성을 조건부 텍스트 생성 문제로 재정의하며, 입력 문장과 제어 코드를 모두 조건으로 삼는다.
• 하나의 하류 응용 프로그램에 적합한 역설적 문장을 추출하기 위해 단순한 태스크별 선택 히وري스틱을 사용한다.
• 사전 구축된 언어 모델에 의존하지 않고도 유창하고 다양한, 의미적으로 유사한 역설적 문장을 생성할 수 있는 모델의 능력을 활용한다.
• 사람이 역설적 문장을 처음부터 만들지 않고, 레이블링하거나 선택하는 방식의 반자동 워크플로우에 생성기를 적용한다.

실험 결과

연구 질문

• RQ1 일관된 일반 목적의 역설적 문장 생성기가 데이터 증강 및 평가에서 주석 작업을 줄이면서도 모델 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 제어 가능하고 응용 프로그램에 관계없이 사용 가능한 역설적 문장 생성이 기존 기능 기반 해석 방법을 넘어서 모델 설명에 얼마나 기여하는가?
• RQ3 Polyjuice는 인간 전문가나 표준 평가 프로토콜이 놓친 체계적인 모델 행동과 오류를 얼마나 효과적으로 드러내는가?
• RQ4 동일한 생성된 역설적 문장 집합이 훈련, 평가, 설명, 오류 분석 등 다양한 하류 태스크를 지원할 수 있는가?
• RQ5 특히 변화가 미묘하거나 맥락에 민감한 경우, 현재 접근법의 커버리지, 편향, 효과성 측면에서의 한계는 무엇인가?

주요 결과

• Polyjuice는 수동 생성에 비해 데이터 증강 및 대조 집합 생성에서 주석 작업을 약 70% 감소시킨다.
• 모델은 유창하고 다양한, 의미적으로 유사한 역설적 문장을 생성하며, 제어 메커니즘이 표준 언어 모델에서 샘플링하기 어려운 변화를 효과적으로 추출한다.
• Polyjuice가 생성한 역설적 문장은 세 가지 다른 NLP 태스크에서 모델 일반화 능력을 크게 향상시키고, 모델의 취약성을 파악하는 데 기여한다.
• 최신 해석 기법과 결합했을 때, Polyjuice의 역설적 문장은 'great'나 'kids'와 같은 핵심 단어에 민감하지 않은 행동과 같은, 기능 기반 해석만으로는 드러나지 않는 모델 실패를 드러낸다.
• Polyjuice를 활용한 역설적 오류 분석은 다양한 부정 형태에 대한 모델 반응의 차이를 드러내어 모델의 강건성에 대한 깊이 있는 통찰을 가능하게 한다.
• 강점이 있음에도 불구하고, 모델은 완전하지 않으며, 훈련 데이터의 편향으로 인해 특정 변화 패턴(예: 부정적 감정어)을 선호할 수 있으므로 신중한 인간 감시가 필요하다.