[論文レビュー] Adversarially Regularising Neural NLI Models to Integrate Logical Background Knowledge

Pasquale Minervini, Sebastian Riedel|arXiv (Cornell University)|Aug 26, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用数 43

ひとこと要約

本論文は、一次論理の背景ルールに違反する敵対的なNLI例を生成し、それらを用いてニューラルNLIモデルを敵対的に正則化し、敵対的入力に対する頑健性を向上させ、背景知識の違反を減らす。

ABSTRACT

Adversarial examples are inputs to machine learning models designed to cause the model to make a mistake. They are useful for understanding the shortcomings of machine learning models, interpreting their results, and for regularisation. In NLP, however, most example generation strategies produce input text by using known, pre-specified semantic transformations, requiring significant manual effort and in-depth understanding of the problem and domain. In this paper, we investigate the problem of automatically generating adversarial examples that violate a set of given First-Order Logic constraints in Natural Language Inference (NLI). We reduce the problem of identifying such adversarial examples to a combinatorial optimisation problem, by maximising a quantity measuring the degree of violation of such constraints and by using a language model for generating linguistically-plausible examples. Furthermore, we propose a method for adversarially regularising neural NLI models for incorporating background knowledge. Our results show that, while the proposed method does not always improve results on the SNLI and MultiNLI datasets, it significantly and consistently increases the predictive accuracy on adversarially-crafted datasets -- up to a 79.6% relative improvement -- while drastically reducing the number of background knowledge violations. Furthermore, we show that adversarial examples transfer among model architectures, and that the proposed adversarial training procedure improves the robustness of NLI models to adversarial examples.

研究の動機と目的

• 自然言語推論（NLI）における敵対的な例を、論理的背景知識の違反として動機づけ、研究する。
• 一階論理ルールに違反する敵対的な例を生成する最適化ベースの手法を開発する。
• これらの敵対的な例を用いてNLIモデルを正則化する敵対的トレーニング体制を提案する。
• SNLIとMultiNLIにおける頑健性の改善と背景知識の違反を評価する。

提案手法

• 含意、矛盾、ニュートラルを二値述語として表現し、R1–R5の一階論理ルールで背景知識を符号化する。
• 置換集合 S に対する規則の違反を測る不整合ロス J_I を定義し、Gödel t-ノルムによる連言の比較を用いて p(con|s1,s2) と p(con|s2,s1) を比較する。
• 生成された敵対的例を言語モデルで制約し、低困惑度と言語的妥当性を維持する。
• 置換 S に対する最適化を、log p_L(S) ≤ τ を満たすとして J_I(S) を最大化する形で定式化し、敵対的文を生成する。
• 敵対的正則化では、訓練中にデータ損失 J_D と最大化された不整合損失 λ max_S J_I(S;Θ) を同時に最小化する（Eq. 6）。
• 敵対的置換の生成とモデルパラメータの更新を交互に行う反復手続き（Algorithm 1）を用いる。）]
• research_questions [
• Can adversarial examples be generated that meaningfully violate predefined logical background rules for NLI?
• Does adversarial regularisation improve model robustness to adversarially crafted inputs while preserving or improving standard NLI accuracy?
• Do adversarial examples transfer across different NLI architectures?

実験結果

リサーチクエスチョン

• RQ1 NLI の事前に定義された論理的背景ルールを意味的に違反する敵対的例を生成できるか？
• RQ2 敵対的正則化は、標準のNLI精度を保つまたは向上させつつ、敵対的に作成された入力に対するモデルの頑健性を改善するか？
• RQ3 敵対的な例は異なるNLIアーキテクチャ間で転移するか？

主な発見

• 敵対的正則化は、敵対的に作成されたデータセットで最大で相対79.6%の精度改善をもたらす。
• 正則化した場合、評価されたすべてのモデルで背景知識の違反が減少するが、SNLI/MultiNLIの精度向上は必ずしも有意でない。
• 敵対的例はモデルアーキテクチャ間で転移し、モデル間の頑健性効果を示す。
• 正則化されたモデルは敵対的入力に対する頑健性が向上し、訓練データ上で規則違反率（例：R2–対称性）が大幅に低減する。
• 正則化がない場合、モデルは論理的背景知識を違反し、真正の含意理解を制限するデータセット artefacts を示す傾向がある。