[论文解读] Are Training Resources Insufficient? Predict First Then Explain!

Myeongjun Jang, Thomas Lukasiewicz|arXiv (Cornell University)|Aug 29, 2021

Topic Modeling参考文献 34被引用 5

一句话总结

本文提出预测-解释（PtE）架构，作为可解释自然语言处理中主流的解释-预测（EtP）和联合模型的更高效数据和训练替代方案。实验表明，PtE模型在解释数据有限的情况下表现更优，训练速度也快于EtP模型，同时生成的解释更具标签相关性与标签条件性。

ABSTRACT

Natural language free-text explanation generation is an efficient approach to train explainable language processing models for commonsense-knowledge-requiring tasks. The most predominant form of these models is the explain-then-predict (EtP) structure, which first generates explanations and uses them for making decisions. The performance of EtP models is highly dependent on that of the explainer by the nature of their structure. Therefore, large-sized explanation data are required to train a good explainer model. However, annotating explanations is expensive. Also, recent works reveal that free-text explanations might not convey sufficient information for decision making. These facts cast doubts on the effectiveness of EtP models. In this paper, we argue that the predict-then-explain (PtE) architecture is a more efficient approach in terms of the modelling perspective. Our main contribution is twofold. First, we show that the PtE structure is the most data-efficient approach when explanation data are lacking. Second, we reveal that the PtE structure is always more training-efficient than the EtP structure. We also provide experimental results that confirm the theoretical advantages.

研究动机与目标

• 解决可解释自然语言处理在低数据场景下解释-预测（EtP）模型效率低下的问题。
• 挑战解释优先建模在决策中更自然或更有效的假设。
• 探究预测-解释（PtE）在数据效率和训练效率方面是否具有优势。
• 探索PtE模型生成解释的质量，特别是其标签相关性和标签条件性特征。
• 为PtE作为解释数据有限时更优的架构选择，提供理论与实证依据。

提出的方法

• 将训练目标表述为在给定输入文本条件下，最大化标签与解释的联合似然：$\mathcal{L} = \prod_{i=1}^{n} p(y_i, e_i|x_i)$。
• 将联合似然分解为PtE结构：$p(y_i|x_i) \cdot p(e_i|x_i, y_i)$，其中预测在解释生成之前进行。
• 通过最小化分类与解释生成的联合损失，端到端训练PtE模型。
• 采用两阶段训练策略：先训练分类器，再基于预测标签微调解释生成器。
• 在相同设置下，将PtE与EtP（$p(e_i|x_i) \cdot p(y_i|x_i, e_i)$）和联合模型（$p(e_i, y_i|x_i)$）进行比较。
• 采用标签条件的解释生成方法，确保解释与预测决策保持一致。

实验结果

研究问题

• RQ1 当解释数据稀缺时，预测-解释（PtE）架构是否比解释-预测（EtP）和联合模型更具数据效率？
• RQ2 PtE架构是否能减少训练时间，相较于EtP结构，如果是，原因是什么？
• RQ3 PtE模型是否能生成比EtP模型更具标签相关性和标签条件性的解释？
• RQ4 PtE模型中的解释在多大程度上对决策具有实质性贡献，尤其是在它们未被用作输入的情况下？
• RQ5 EtP模型中的暴露偏差如何影响性能，PtE能否缓解此问题？

主要发现

• 当解释数据有限时，PtE模型在性能上显著优于EtP和联合模型，展现出更优的数据效率。
• PtE模型在训练效率方面始终优于EtP模型，所需训练时间更短，同时保持或提升性能。
• 通过解释质量的定性与定量分析，PtE模型生成的解释比EtP模型更具标签相关性。
• PtE架构支持标签条件的解释生成，确保解释与预测标签保持一致。
• PtE模型避免了暴露偏差问题，也无需生成半标注解释，而这些问题在EtP框架中普遍存在。
• 实证结果证实，即使在解释数据稀缺的情况下，PtE在准确率和解释忠实度方面仍优于EtP。