[논문 리뷰] Syntax-based Attention Model for Natural Language Inference

Pengfei Liu, Xipeng Qiu외 1명|arXiv (Cornell University)|2016. 07. 22.

Topic Modeling참고 문헌 27인용 수 3

한 줄 요약

이 논문은 자연어 추론에서 평탄한 시퀀스에서 구문 트리 구조로 신경망 어텐션의 범위를 확장하는 문법 기반 어텐션 메커니즘을 제안한다. 구성 분석 트리 위에서 어텐션을 모델링함으로써 어휘 수준의 정렬과 해석 가능성의 향상을 이끌었으며, SNLI 벤치마크에서 순차 기반 어텐션 및 기준 모델보다 뚜렷한 성능 향상을 달성하여 최신 기술 수준에 도달했다.

ABSTRACT

Introducing attentional mechanism in neural network is a powerful concept, and has achieved impressive results in many natural language processing tasks. However, most of the existing models impose attentional distribution on a flat topology, namely the entire input representation sequence. Clearly, any well-formed sentence has its accompanying syntactic tree structure, which is a much rich topology. Applying attention to such topology not only exploits the underlying syntax, but also makes attention more interpretable. In this paper, we explore this direction in the context of natural language inference. The results demonstrate its efficacy. We also perform extensive qualitative analysis, deriving insights and intuitions of why and how our model works.

연구 동기 및 목표

• 자연어 추론에서 문법적 구조를 통합함으로써 신경망 어텐션 메커니즘의 성능을 향상시키는 것.
• 평탄한 시퀀스 대신 구문 트리 위에서 어텐션을 모델링하여 더 해석 가능하고 언어학적으로 타당한 어텐션을 가능하게 하는 것.
• 문장 쌍 내의 계층적 문법 조합을 활용함으로써 어휘 수준의 의미 매칭을 향상시키는 것.
• SNLI 데이터셋에서 정량적 및 정성적 분석을 통해 문법 인식 어텐션의 효과성을 검증하는 것.
• 사전에 문법 지식을 통합함으로써 의미 매칭 작업에서 일반화 능력 향상이 가능함을 보여주는 것.

제안 방법

• 모델은 선형 시퀀스 대신 구성 분석 트리 위에서 작동하는 문법 기반 어텐션 메커니즘을 사용한다.
• 문법적 구조를 반영한 트리 구조의 장기 순환 신경망(LSTM)을 문장 표현을 인코딩하는 데 적용한다.
• 전제문과 가설문의 분석 트리 상 대응 노드 간 어텐션을 계산함으로써 어휘 수준의 정렬을 가능하게 한다.
• 트리 구조 표현 간 정보를 집계하는 미분 가능한 메커니즘을 사용해 어텐션 가중치를 계산한다.
• 세 가지 분류(함의, 모순, 중립)를 위한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 구문 분석을 외부 모듈로 통합하며, 분석 트리를 어텐션 계산의 위상적 기반으로 사용한다.

실험 결과

연구 질문

• RQ1 순차 기반 어텐션과 비교해 볼 때, 문법 트리 위에서 어텐션을 적용하는 것이 자연어 추론 성능 향상에 기여하는가?
• RQ2 문법 기반 어텐션은 의미 매칭에서 해석 가능성과 어휘 수준의 정렬을 어떻게 향상시키는가?
• RQ3 문법적 구조를 통합할 경우, 어휘 변형 및 문법 변형 작업에서 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 기준 모델과 비교해 볼 때, 모델은 어떤 의미적 및 문법적 패턴을 학습하는가?
• RQ5 평탄한 어텐션 대비 트리 구조 어텐션은 더 나은 방식으로 어휘의 대체 표현과 문법 변형을 포착할 수 있는가?

주요 결과

• 문법 기반 어텐션 모델(SAT-LSTM)은 SNLI 벤치마크에서 순차 기반 어텐션 및 기준 모델을 능가하는 최신 기술 수준의 성능을 달성했다.
• 정성적 분석 결과, SAT-LSTM은 'the boy is bare chested'와 'the man is not wearing a shirt'와 같은 문법적 대체 표현을 가장 가까운 이웃으로 포착하며, 문법적 다양성 속에서도 의미를 유지함을 보였다.
• 소유격 이동 및 동사 부사어 이동과 같은 문법적 변형에 대해 강건함을 보이며, 일반화 능력 향상을 시사했다.
• NBOW 및 AT-LSTM 기준 모델과 비교해 SAT-LSTM은 의미를 유지하면서 더 언어학적으로 타당하고 문법적으로 다양한 가장 가까운 이웃을 생성했다.
• SAT-LSTM의 어텐션 메커니즘은 순차 기반 모델이 효과적으로 포착하지 못하는 문맥 간 어휘 수준 정렬, 예를 들어 'autumn'과 'fallen leaves' 간의 정렬을 명시적으로 수행한다.
• 모델의 어텐션 패턴은 어휘 수준의 임의적 정렬이 아닌 계층적 문법 조합을 반영하므로 더 해석 가능하다.