[论文解读] A Game Theoretic Approach to Class-wise Selective Rationalization

Shiyu Chang, Shuicheng Yan+2 more|arXiv (Cornell University)|Oct 28, 2019

Explainable Artificial Intelligence (XAI)被引用 42

一句话总结

引入 Class-wise Adversarial Rationalization (Car)，这是一种博弈论框架，具有用于生成事实基础和反事实理由的生成器与判别器，以为文本分类提供类感知的解释。

ABSTRACT

Selection of input features such as relevant pieces of text has become a common technique of highlighting how complex neural predictors operate. The selection can be optimized post-hoc for trained models or incorporated directly into the method itself (self-explaining). However, an overall selection does not properly capture the multi-faceted nature of useful rationales such as pros and cons for decisions. To this end, we propose a new game theoretic approach to class-dependent rationalization, where the method is specifically trained to highlight evidence supporting alternative conclusions. Each class involves three players set up competitively to find evidence for factual and counterfactual scenarios. We show theoretically in a simplified scenario how the game drives the solution towards meaningful class-dependent rationales. We evaluate the method in single- and multi-aspect sentiment classification tasks and demonstrate that the proposed method is able to identify both factual (justifying the ground truth label) and counterfactual (countering the ground truth label) rationales consistent with human rationalization. The code for our method is publicly available.

研究动机与目标

• 说明需要多方面的理由，以支持不同的结果，而不是单一的总体解释。
• 提出一个与类别相关的理据框架，为任意给定类别产出证据，包括反事实。
• 开发一个对抗性 Car 系统，具事实与反事实理由生成器与判别器，以优化类级解释。
• 在简化设定下理论分析 Car 的信息理论性质。
• 在单一与多方面情感分类任务上对 Car 进行实证评估，以评估其与人类理据的一致性。

提出的方法

• 将类级理据建模为一个六方对抗博弈：两个事实理据生成器、两个反事实理据生成器，以及两个判别器（每个类别一个）。
• 采用参数共享的体系结构，其中每个类别的生成器共享一个网络，判别器共享参数，输入包含类别信息。
• 对所选理据施加稀疏性和连续性约束，以确保简洁、连贯的解释。
• 将目标设定为类级互信息问题，与 f-散度相关，以推动生成器朝向有意义的、类别特定的理据。
• 提供信息理论分析，在独立性假设（袋-词模型）下显示最优策略。
• 描述通过交替的随机梯度更新进行训练，并对离散理据掩码使用直通梯度估计。

实验结果

研究问题

• RQ1 是否可以为事实性（真实类别）和反事实（备选类别）同时有效生成类级理据？
• RQ2 对抗性类级生成器和判别器是否能产生与人类解释在单一与多方面情感任务中的理据一致的结果？
• RQ3 从信息理论角度看，Car 框架如何与类级互信息目标相关？
• RQ4 生成器与判别器之间的参数共享是否影响训练的性能与稳定性？
• RQ5 Car 是否能缓解在其他生成-预测理据框架中观察到的退化问题？

主要发现

• Car 在跨领域的亚马逊评论上，在稀疏性约束下持续提升事实性理据的精确度。
• Car 生成的反事实理据比基线具有更高的精确度，同时保持具有竞争力的稀疏性。
• 在多方面数据集（beer 和 hotel）中，Car 在大多数方面获得最佳或接近最佳的事实理据，尤其是在 beer 的 Appearance 与 Palate，以及 hotel 的多方面。
• 主观人工评估显示，Car 的理据更能欺骗人们推断出意图情感，尤其是事实性以及若干反事实案例。
• Car 通过确保反事实不能简单模仿无信息信号来愚弄判别器，而对退化具有韧性。
• 采用参数共享的架构在降低模型复杂性的同时，保持了具有竞争力的性能。