[论文解读] Are you tough enough? Framework for Robustness Validation of Machine Comprehension Systems

Barbara Rychalska, Dominika Basaj+1 more|arXiv (Cornell University)|Dec 5, 2018

Topic Modeling参考文献 12被引用 5

一句话总结

本文提出了一种用于机器理解系统鲁棒性验证的框架，通过使用LIME进行可解释性分析，利用语义扰动评估模型稳定性。通过测试模型在同义词替换和基于嵌入的词语替换下的响应，作者揭示了当前最先进模型尽管准确率高，但存在高度脆弱性，且表明对抗性训练可将模型对真实同义词的敏感度提升高达7%。

ABSTRACT

Deep Learning NLP domain lacks procedures for the analysis of model robustness. In this paper we propose a framework which validates robustness of any Question Answering model through model explainers. We propose that a robust model should transgress the initial notion of semantic similarity induced by word embeddings to learn a more human-like understanding of meaning. We test this property by manipulating questions in two ways: swapping important question word for 1) its semantically correct synonym and 2) for word vector that is close in embedding space. We estimate importance of words in asked questions with Locally Interpretable Model Agnostic Explanations method (LIME). With these two steps we compare state-of-the-art Q&A models. We show that although accuracy of state-of-the-art models is high, they are very fragile to changes in the input. Moreover, we propose 2 adversarial training scenarios which raise model sensitivity to true synonyms by up to 7% accuracy measure. Our findings help to understand which models are more stable and how they can be improved. In addition, we have created and published a new dataset that may be used for validation of robustness of a Q&A model.

研究动机与目标

• 解决深度学习NLP模型鲁棒性评估缺乏标准化流程的问题。
• 探究当前最先进问答模型是否在词嵌入之外展现出类人的理解能力。
• 开发一种系统化方法，用于测试模型对输入问题中语义和分布性变化的敏感度。
• 通过针对性的对抗性训练场景提升模型鲁棒性。
• 为未来QA系统鲁棒性评估提供一个新的公开数据集。

提出的方法

• 使用局部可解释模型无关解释（LIME）识别并排序输入问题中词语的重要性。
• 应用两种类型的输入扰动：将关键问题词语替换为语义正确的同义词，以及替换为词嵌入空间中的最近邻词。
• 比较扰动前后模型的预测结果，以评估其鲁棒性和一致性。
• 设计两种对抗性训练场景，以增强模型对真实同义词的敏感度，提升泛化能力。
• 在对抗性微调前后，使用准确率指标评估模型性能。
• 发布一个包含扰动后问题-答案对的新数据集，用于鲁棒性基准测试。

实验结果

研究问题

• RQ1 当关键问题词语被语义正确的同义词替换时，当前最先进QA模型在多大程度上仍保持鲁棒性？
• RQ2 当关键词语被语义无关但嵌入相似的词语替换时，模型表现如何？
• RQ3 对抗性训练能否在保持或提升准确率的同时，增强模型对真实同义词的敏感度？
• RQ4 通过LIME实现的模型可解释性与对语义扰动的鲁棒性之间存在何种关系？
• RQ5 所提出的框架如何实现超越标准准确率指标的系统性模型鲁棒性评估？

主要发现

• 尽管准确率高，当前最先进QA模型对语义扰动极为脆弱，尤其是在关键词语被同义词替换时。
• 当词语被替换为语义正确的同义词时，模型性能出现显著下降，表明其缺乏真正的语义理解能力。
• LIME的使用揭示了模型严重依赖表面线索，而非深层语义推理。
• 对抗性训练场景使模型对真实同义词的敏感度在准确率上最高提升了7%，证明了其在增强鲁棒性方面的潜力。
• 所提出的框架成功识别出模型的薄弱环节，并提供了一种可复现的鲁棒性验证方法。
• 新发布的数据集使得在不同架构和训练策略下对QA模型鲁棒性进行标准化评估成为可能。