[논문 리뷰] Generating Natural Language Inference Chains

Vladyslav Kolesnyk, Tim Rocktäschel외 1명|arXiv (Cornell University)|2016. 06. 04.

Topic Modeling참고 문헌 17인용 수 13

한 줄 요약

이 논문은 SNLI 코퍼스의 함의 쌍에서 주의력 증강 LSTM을 훈련시켜 자연어 함의 체인 생성이라는 새로운 작업을 제안한다. 모델은 올바른 함의 문장을 생성하는 데 82%의 정확도를 달성하여 해석 가능한 함의 체인과 데이터 증강을 위한 역방향 생성을 가능하게 하며, 도메인 외 텍스트로의 일반화 능력이 뛰어나다.

ABSTRACT

The ability to reason with natural language is a fundamental prerequisite for many NLP tasks such as information extraction, machine translation and question answering. To quantify this ability, systems are commonly tested whether they can recognize textual entailment, i.e., whether one sentence can be inferred from another one. However, in most NLP applications only single source sentences instead of sentence pairs are available. Hence, we propose a new task that measures how well a model can generate an entailed sentence from a source sentence. We take entailment-pairs of the Stanford Natural Language Inference corpus and train an LSTM with attention. On a manually annotated test set we found that 82% of generated sentences are correct, an improvement of 10.3% over an LSTM baseline. A qualitative analysis shows that this model is not only capable of shortening input sentences, but also inferring new statements via paraphrasing and phrase entailment. We then apply this model recursively to input-output pairs, thereby generating natural language inference chains that can be used to automatically construct an entailment graph from source sentences. Finally, by swapping source and target sentences we can also train a model that given an input sentence invents additional information to generate a new sentence.

연구 동기 및 목표

• 실제 작업에서 단일 소스 문장만 이용 가능한 상황에서 문장 쌍에 의존하는 NLP 시스템의 한계를 해결하기 위해.
• 단일 전제 문장으로부터 함의된 가설을 생성할 수 있는 시퀀스-투-시퀀스 모델을 개발하기 위해.
• 반복적인 함의 문장 생성을 통해 해석 가능한 자연어 함의 체인을 구성하기 위해.
• 훈련 중에 입력과 출력 역할을 바꿔 역방향 생성을 탐색하여 더 구체적인 문장을 생성하기 위해.
• 모델의 도메인 외 텍스트로의 일반화 능력과 후속 NLP 작업에서의 데이터 증강 잠재력 평가를 위해.

제안 방법

• word2vec으로 사전 학습된 임베딩을 사용하여 SNLI 코퍼스의 함의 쌍에 기반한 LSTM 기반 시퀀스-투-시퀀스 모델을 미세조정한다.
• 디코더가 관련 인코더 상태에 집중할 수 있도록 추가적 주의력을 적용하여 장거리 의존성 모델링을 향상시킨다.
• 기울기 클리핑과 25 에포크 후 조기 정지 기법을 사용한 Adam 최적화를 통해 모델을 훈련시킨다.
• 사이클이 감지될 때까지 모델의 출력을 다시 입력으로 피드백하여 추론 체인을 생성한다.
• 훈련 중에 입력과 출력 역할을 뒤바꿔 역방향 생성을 학습함으로써 일반 문장에서 더 구체적이고 기술적인 문장을 생성할 수 있도록 한다.
• 공통적인 의미가 수렴하는 공통 루트 문장이 되는 공통 의미를 가진 문장들을 집계하여 함의 그래프를 구성한다.

실험 결과

연구 질문

• RQ1 일반적인 문장에서 높은 정확도로 올바르게 함의된 문장을 생성할 수 있는 시퀀스-투-시퀀스 모델이 존재하는가?
• RQ2 함의된 문장을 반복적으로 생성하는 방식이 일관되고 해석 가능한 자연어 함의 체인을 형성할 수 있는가?
• RQ3 모델은 SNLI 코퍼스 외의 도메인 외 텍스트로 일반화되는가?
• RQ4 훈련 목표를 뒤집음으로써 일반 문장에서 더 구체적이거나 기술적인 문장을 생성할 수 있는가?
• RQ5 생성된 추론 체인을 활용해 공통적인 의미적 의미를 포착하는 의미 있는 함의 그래프를 구성할 수 있는가?

주요 결과

• 수동으로 애너테이션된 테스트 세트에서 모델은 올바른 함의 문장을 생성하는 데 82%의 정확도를 달성했으며, 기준 LSTM 모델 대비 10.3% 향상되었다.
• BLEU 점수는 주의력 도입으로 인한 향상 폭이 미미하지만, 인간 평가 결과 주의력이 사실적 정확도와 추론 품질을 크게 향상시킨다.
• 모델은 공통적인 의미적 의미로 수렴하는 해석 가능한 추론 체인을 성공적으로 생성하여 자연어에서의 강력한 추론 능력을 입증한다.
• 추론 체인에서 유도된 함의 그래프는 의미적으로 관련된 문장의 클러스터와 논리적 추론의 장기 체인을 드러낸다.
• 역방향 생성—즉, 전제-가설 쌍을 뒤집어 훈련한 방식—은 타당하고 더 구체적인 문장을 생성하여 데이터 증강에 유용함을 시사한다.
• 모델은 위키백과, 뉴스 기사, 과학 논문 등 도메인 외 텍스트로도 잘 일반화되어 있어 광범위한 적용 가능성을 보인다.