[论文解读] Generate Your Counterfactuals: Towards Controlled Counterfactual Generation for Text

Nishtha Madaan, Inkit Padhi+2 more|arXiv (Cornell University)|Dec 8, 2020

Topic Modeling被引用 30

一句话总结

我们引入 GYC，这是一个基于 GPT-2 的框架，生成可信、多样、目标导向且高效的反事实文本样本，并可通过用户定义的条件（如 NER、SRL 或情感）进行控制，并在多个领域进行评估。

ABSTRACT

Machine Learning has seen tremendous growth recently, which has led to larger adoption of ML systems for educational assessments, credit risk, healthcare, employment, criminal justice, to name a few. The trustworthiness of ML and NLP systems is a crucial aspect and requires a guarantee that the decisions they make are fair and robust. Aligned with this, we propose a framework GYC, to generate a set of counterfactual text samples, which are crucial for testing these ML systems. Our main contributions include a) We introduce GYC, a framework to generate counterfactual samples such that the generation is plausible, diverse, goal-oriented, and effective, b) We generate counterfactual samples, that can direct the generation towards a corresponding condition such as named-entity tag, semantic role label, or sentiment. Our experimental results on various domains show that GYC generates counterfactual text samples exhibiting the above four properties. GYC generates counterfactuals that can act as test cases to evaluate a model and any text debiasing algorithm.

研究动机与目标

• 通过生成揭示公平性和鲁棒性差距的测试用例，促进 NLP 系统的可信度。
• 提出一个框架（GYC）以生成可信、多样、目标导向且高效的反事实文本。
• 使反事实生成可对特定属性进行条件化（例如 NER、SRL、情感），并允许接入自定义条件模型。
• 证明 GYC 在无需重新训练的情况下能够生成高质量的反事实，并评估其在测试和去偏方面的有用性。

提出的方法

• 通过学习最大化 x 的对数似然的扰动来重构输入文本 x（邻近损失），以确保内容保留。
• 引入一个带条件的扰动 䂬H_t 以生成满足给定条件的反事实，并使用 GPT-2 解码器自回归地采样 y_t。
• 使用可微分的分数损失或基于 REINFORCE 的奖励训练来处理可微分和不可微分的条件信号。
• 通过对多个生成样本的对数概率分布的熵来引入多样性损失，以避免模式崩溃。
• 将损失合成为 L = lambda_r L_r + lambda_H L_H + lambda_p L_p，并通过课程/退火来稳定训练。
• 在不重新训练模型本身的情况下利用预训练的 GPT-2，使其能够与辅助条件模型实现插件式条件化。

实验结果

研究问题

• RQ1 如何在翻转目标属性的同时，生成既可信又多样的反事实文本？
• RQ2 是否可以在不重新训练生成器的情况下，利用额外模型将反事实生成指向特定条件（如 NER、SRL、情感）？
• RQ3 哪些学习信号（可微分分数 vs. 强化学习奖励）能有效引导生成朝向所需条件？
• RQ4 GYC 在跨多领域的标签翻转、多样性、内容保留和句法结构方面的表现如何？

主要发现

• GYC 生成的反事实文本样本在跨数据集上具有很高翻转目标标签的潜力。
• 与基线相比，GYC 在保持内容和句法结构的同时实现了强多样性。
• 人工评估表明，GYC 产生的反事实文本比基线更可信且语法正确。
• GYC 可以接入不同的条件模型（例如情感分类器、NER、SRL），且不需要对 GPT-2 重新训练。