[논문 리뷰] Adversarially Regularising Neural NLI Models to Integrate Logical Background Knowledge

Pasquale Minervini, Sebastian Riedel|arXiv (Cornell University)|2018. 08. 26.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 43

한 줄 요약

이 논문은 1차 논리 백그라운드 규칙을 위반하는 적대적 NLI 예제를 생성하고 이를 사용해 신경망 NLI 모델을 적대적으로 정규화하여 적대적 입력에 대한 강건성을 향상시키고 백그라운드 지식 위반을 줄인다.

ABSTRACT

Adversarial examples are inputs to machine learning models designed to cause the model to make a mistake. They are useful for understanding the shortcomings of machine learning models, interpreting their results, and for regularisation. In NLP, however, most example generation strategies produce input text by using known, pre-specified semantic transformations, requiring significant manual effort and in-depth understanding of the problem and domain. In this paper, we investigate the problem of automatically generating adversarial examples that violate a set of given First-Order Logic constraints in Natural Language Inference (NLI). We reduce the problem of identifying such adversarial examples to a combinatorial optimisation problem, by maximising a quantity measuring the degree of violation of such constraints and by using a language model for generating linguistically-plausible examples. Furthermore, we propose a method for adversarially regularising neural NLI models for incorporating background knowledge. Our results show that, while the proposed method does not always improve results on the SNLI and MultiNLI datasets, it significantly and consistently increases the predictive accuracy on adversarially-crafted datasets -- up to a 79.6% relative improvement -- while drastically reducing the number of background knowledge violations. Furthermore, we show that adversarial examples transfer among model architectures, and that the proposed adversarial training procedure improves the robustness of NLI models to adversarial examples.

연구 동기 및 목표

• 자연어 추론(NLI)에서 논리적 배경지식 위반으로서의 적대적 예제를 동기화하고 연구한다.
• 일차 논리 규칙을 위반하는 적대적 예제를 생성하기 위한 최적화 기반 방법을 개발한다.
• 이 적대적 예제를 사용하여 NLI 모델을 정규화하는 적대적 학습 체계를 제안한다.
• SNLI와 MultiNLI 전반에 걸쳐 강건성 개선 및 배경지식 위반을 평가한다.

제안 방법

• entailment, contradiction, and neutral 를 이진 술어로 표현하여 배경지식을 퍼스트오더 로직 규칙 R1–R5로 인코딩한다.
• Define an inconsistency loss J_I that measures violation of a rule for a substitution set S by comparing p(con|s1,s2) and p(con|s2,s1) using a Gödel t-norm for conjunction.
• constrain generated adversarial examples with a language model to maintain low perplexity and linguistic plausibility.
• Formulate an optimisation over substitutions S to maximise J_I(S) subject to log p_L(S) ≤ τ, generating adversarial sentences.
• In adversarial regularisation, jointly minimise data loss J_D and the maximised inconsistency loss λ max_S J_I(S;Θ) during training (Eq. 6).
• Use an iterative procedure (Algorithm 1) alternating between generating adversarial substitutions and updating model parameters.

실험 결과

연구 질문

• RQ1 적대적 예제가 NLI에 대해 사전에 정의된 논리적 배경 규칙을 의미 있게 위반하도록 생성될 수 있는가?
• RQ2 적대적 정규화가 적대적으로 제작된 입력에 대한 모델 강건성을 개선하면서 표준 NLI 정확도를 유지하거나 향상시키는가?
• RQ3 적대적 예제가 서로 다른 NLI 아키텍처 간에 전달되는가?

주요 결과

• 적대적 정규화는 적대적으로 구성된 데이터셋에서 정확도가 최대 79.6% 상대적 향상을 가져온다.
• 평가된 모든 모델은 정규화될 때 배경지식 위반이 감소하지만, SNLI/MultiNLI 정확도 향상은 항상 유의하지 않을 수 있다.
• 적대적 예제가 모델 아키텍처 간 이전되어 교차 모델 강건성 효과를 시사한다.
• 정규화된 모델은 적대적 입력에 대한 강건성이 향상되며 학습 데이터에서 규칙 위반률(R2–대칭성 등)이 크게 감소한다.
• 정규화 없이 모델은 논리적 배경지식을 위반하고 데이터셋 인공물로 인해 진정한 entailment 이해를 제한하는 경향이 있다.