[논문 리뷰] Generate Your Counterfactuals: Towards Controlled Counterfactual Generation for Text

Nishtha Madaan, Inkit Padhi외 2명|arXiv (Cornell University)|2020. 12. 08.

Topic Modeling인용 수 30

한 줄 요약

우리는 GYC를 도입합니다. GPT-2 기반의 프레임워크로, 사실적이고 다양하며 목표 지향적이고 효과적인 반사실(counterfactual) 텍스트 샘플을 생성하고, NER, SRL, 또는 감정과 같은 사용자가 정의한 조건에 의해 제어되며, 여러 도메인에 걸쳐 평가됩니다.

ABSTRACT

Machine Learning has seen tremendous growth recently, which has led to larger adoption of ML systems for educational assessments, credit risk, healthcare, employment, criminal justice, to name a few. The trustworthiness of ML and NLP systems is a crucial aspect and requires a guarantee that the decisions they make are fair and robust. Aligned with this, we propose a framework GYC, to generate a set of counterfactual text samples, which are crucial for testing these ML systems. Our main contributions include a) We introduce GYC, a framework to generate counterfactual samples such that the generation is plausible, diverse, goal-oriented, and effective, b) We generate counterfactual samples, that can direct the generation towards a corresponding condition such as named-entity tag, semantic role label, or sentiment. Our experimental results on various domains show that GYC generates counterfactual text samples exhibiting the above four properties. GYC generates counterfactuals that can act as test cases to evaluate a model and any text debiasing algorithm.

연구 동기 및 목표

• 공정성 및 강건성의 차이를 드러내는 테스트 케이스를 생성함으로써 NLP 시스템의 신뢰성을 높이는 것을 목표로 합니다.
• 타당하고 다양하며 목표 지향적이고 효과적인 반사실 텍스트를 생성하는 프레임워크(GYC)를 제안합니다.
• 특정 속성(예: NER, SRL, 감정)에 따라 반사실 생성을 조건화하고 맞춤 조건 모델의 플러그인을 허용합니다.
• 재학습 없이도 고품질 반사실을 생성할 수 있음을 보여주고, 테스트 및 편향 제거에 대한 유용성을 평가합니다.

제안 방법

• 콘텐츠 보존을 보장하기 위해 x의 로그 가능도를 최대화하는 perturbation을 학습하여 입력 텍스트 x를 재구성합니다(근접 손실).
• 주어진 조건을 만족하는 반사실을 생성하기 위한 조건부 ㅎ_t를 도입하고, GPT-2 디코더를 사용하여 y_t를 자기회귀적으로 샘플링합니다.
• 미분 가능한 신호와 비미분 신호 조건을 미분 가능한 점수 손실 또는 REINFORCE 기반 보상 학습으로 처리합니다.
• 다양성 손실을 여러 생성 샘플의 로짓에 대한 엔트로피를 통해 도입하여 모드 붕괴를 피합니다.
• 훈련 안정화를 위해 커리큘럼/어닐링과 함께 L = lambda_r L_r + lambda_H L_H + lambda_p L_p로 손실을 결합합니다.
• 모델 자체를 재훈련하지 않고 사전 학습된 GPT-2를 활용하여 보조 조건 모델과의 플러그 앤 플레이 조건화를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 대상 속성을 바꾸면서도 반사실 텍스트가 그럴듯하고 다양하게 남도록 어떻게 생성할 수 있을까?
• RQ2 생성기를 재훈련하지 않고도 추가 모델을 사용하여 반사실 생성을 특정 조건(예: NER, SRL, 감정)으로 지시할 수 있을까?
• RQ3 어떤 학습 신호(미분 가능 점수 대 강화 학습 보상)가 원하는 조건으로의 생성을 효과적으로 안내하는가?
• RQ4 여러 도메인에서 GYC가 레이블 전환, 다양성, 콘텐츠 보존 및 구문 구조 측면에서 어떤 성능을 보이는가?

주요 결과

• GYC는 데이터셋 전반에 걸쳐 대상 라벨을 전환할 높은 가능성을 가진 반사실 텍스트 샘플을 생성합니다.
• GYC는 기준선과 비교했을 때 콘텐츠와 구문 구조를 보존하면서도 강한 다양성을 달성합니다.
• 인간 평가에서 GYC가 기준선보다 더 그럴듯하고 문법적으로 정확한 반사실을 생성하는 것으로 나타났습니다.
• GYC는 다양한 조건 모델(예: 감정 분류기, NER, SRL)을 통합할 수 있으며 GPT-2 재훈련이 필요하지 않습니다.