[논문 리뷰] AdvEntuRe: Adversarial Training for Textual Entailment with Knowledge-Guided Examples

Dongyeop Kang, Tushar Khot외 2명|arXiv (Cornell University)|2018. 05. 12.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 논문은 지식 유도 규칙 템플릿과 시퀀스-투-시퀀스 생성자(Generator)를 결합한 GAN 스타일의 적대적 훈련 프레임워크인 AdvEntuRe를 제안한다. 이는 저데이터 환경에서 모델의 강건성을 향상시키기 위한 것이다. 언어학적 지식과 미분 가능 생성자를 사용해 반복적으로 적대적 예제를 생성함으로써, SciTail에서 4.7% 향상되고 1% SNLI 서브셋에서 2.8% 향상된다. 단일 否정 규칙은 否정 예제에서 정확도를 6.1% 향상시킨다.

ABSTRACT

We consider the problem of learning textual entailment models with limited supervision (5K-10K training examples), and present two complementary approaches for it. First, we propose knowledge-guided adversarial example generators for incorporating large lexical resources in entailment models via only a handful of rule templates. Second, to make the entailment model - a discriminator - more robust, we propose the first GAN-style approach for training it using a natural language example generator that iteratively adjusts based on the discriminator's performance. We demonstrate effectiveness using two entailment datasets, where the proposed methods increase accuracy by 4.7% on SciTail and by 2.8% on a 1% training sub-sample of SNLI. Notably, even a single hand-written rule, negate, improves the accuracy on the negation examples in SNLI by 6.1%.

연구 동기 및 목표

• 낮은 감독 신호 환경(5K–10K 예제)에서 모델이 희귀하거나 적대적인 언어 패턴에 실패하는 문제를 해결하기 위해 텍스트 함의 모델을 향상시키는 것.
• SNLI 및 SciTail과 같은 데이터셋에서 반복 패턴에 과적합되어 발생하는 모델의 취약성 문제를 해결하기 위한 것.
• 아키텍처 변경 없이도 모델에 관계없이 강건성을 향상시키기 위한 적대적 데이터 증강 기반의 방법을 개발하는 것.
• 대규모 언어 자원(예: WordNet, PPDB)과 간단한 언어 규칙(예: 부정)을 최소한의 규칙 템플릿을 통해 딥 러닝 모델에 통합하는 것.
• 판별자 성능에 기반해 진화하는 생성자를 갖춘 GAN 스타일 프레임워크를 통해 강건한 함의 판별자(디스criminator)를 훈련시키는 것.

제안 방법

• 지식 기반 적대적 예제 생성기는 WordNet 및 PPDB와 같은 어휘 자원을 사용해 전제와 가설을 변형시키는 소규모 규칙 템플릿(예: 부정, 동의어 교체)을 사용한다.
• 각 함의 유형(함의, 모순, 중립) 별로 seq2seq 생성자를 훈련시어 주어진 전제에서 다양한 자연스러운 가설을 생성한다.
• 생성자와 판별자의 손실 기반으로 반복적으로 업데이트되는 GAN 스타일의 훈련 루프를 적용함으로써, 합성 데이터의 품질과 적대적 강도를 향상시킨다.
• 판별자(함의 모델)는 실제 데이터와 적대적으로 생성된 예제의 조합으로 훈련되어 언어적 다양성에 더 강건해진다.
• 규칙 기반 생성기는 실제 예제에 적용되어 부정 또는 동의어 교체와 같은 적대적 변형을 생성한다.
• 각 예제의 손실 피드백을 사용해 생성자를 미세조정함으로써 판별자를 도전하는 어려운 예제를 타겟으로 생성할 수 있다.

실험 결과

연구 질문

• RQ1 소규모 수작업 언어 규칙 세트가 저데이터 텍스트 함의에서 일반화 성능을 크게 향상시킬 수 있는가?
• RQ2 반복적인 적대적 데이터 생성을 통해 GAN 스타일 프레임워크가 함의 모델의 강건성을 향상시키는 데 얼마나 효과적인가?
• RQ3 함의 모델 아키텍처를 변경하지 않고도 WordNet 및 PPDB와 같은 대규모 어휘 자원의 지식을 얼마나 효과적으로 활용할 수 있는가?
• RQ4 규칙 기반 생성자와 신경망 기반 시퀀스-투-시퀀스 생성자를 조합하면 단독으로 사용할 경우보다 성능이 향상되는가?
• RQ5 지식 기반 예제를 통한 적대적 데이터 증강이, 특히 부정과 같은 희귀 언어 현상에서 성능 격차를 줄일 수 있는가?

주요 결과

• AdvEntuRe는 SciTail 데이터셋에서 정확도를 4.7% 향상시켜 저데이터 환경에서 뚜렷한 성과를 보였다.
• SNLI의 1% 서브셋(10K 예제)에서 기준 모델 대비 정확도가 2.8% 향상되었다.
• 단일 부정 규칙('negate')은 SNLI의 부정 전용 예제에서 성능을 6.1% 향상시켜 단순 언어 규칙의 가치를 입증했다.
• PPDB 기반의 어색한 어휘 변형은 SNLI에서 가장 큰 성과(+3.6%)를 냈고, 부정 규칙은 SciTail에서 가장 효과적이었으며(+8.2% 아블레이션)
• 모든 함의 유형을 통합해 훈련한 seq2seq 생성자는 가장 우수한 종합 성능를 기록했으며, 이는 GAN 프레임워크의 적응적 데이터 증강 효과를 입증한다.
• 정성적 분석 결과, 지식 기반 생성자는 훈련 데이터 크기에 관계없이 고품질이며 의미적으로 타당한 적대적 예제를 생성함을 확인했다.