[논문 리뷰] Textual Entailment with Structured Attentions and Composition

Kai Zhao, Liang Huang외 1명|arXiv (Cornell University)|2017. 01. 04.

Topic Modeling참고 문헌 21인용 수 23

한 줄 요약

이 논문은 문법적 트리 노드를 대상으로 작동하는 구조적 어텐션 메커니즘을 제안하여 텍스트 함의 인식을 향상시키고, 하위트리 수준의 함의 관계를 재귀적으로 조합할 수 있도록 한다. 자연 논리의 연속적이고 미분 가능한 버전으로 함의를 모델링함으로써, 표준 순서 기반 어텐션 모델에 비해 특히 계층적이고 조합적인 의미 관계를 더 잘 포착할 수 있도록 유의미한 정확도 향상을 달성한다.

ABSTRACT

Deep learning techniques are increasingly popular in the textual entailment task, overcoming the fragility of traditional discrete models with hard alignments and logics. In particular, the recently proposed attention models (Rocktäschel et al., 2015; Wang and Jiang, 2015) achieves state-of-the-art accuracy by computing soft word alignments between the premise and hypothesis sentences. However, there remains a major limitation: this line of work completely ignores syntax and recursion, which is helpful in many traditional efforts. We show that it is beneficial to extend the attention model to tree nodes between premise and hypothesis. More importantly, this subtree-level attention reveals information about entailment relation. We study the recursive composition of this subtree-level entailment relation, which can be viewed as a soft version of the Natural Logic framework (MacCartney and Manning, 2009). Experiments show that our structured attention and entailment composition model can correctly identify and infer entailment relations from the bottom up, and bring significant improvements in accuracy.

연구 동기 및 목표

• 순서 기반 어텐션 모델의 한계를 보완하기 위해 문법적 트리 구조를 통합함으로써 텍스트 함의 문제를 해결하는 것.
• 자연 논리에 영감을 받아 하위트리 수준의 정렬에서 재귀적으로 함의 관계를 모델링하는 것.
• 구조적 어텐션과 이중 어텐션 메커니즘을 통해 함의 예측의 해석 가능성과 강건성을 향상시키는 것.
• 어순, 구문 수준 의미, 비단조화 함의와 같은 복잡한 언어 현상에 더 나은 대응을 가능하게 하는 것.

제안 방법

• 전제와 가설의 문법적 트리에서 대응하는 노드 간의 어텐션을 계산함으로써 순서 기반 어텐션을 트리 구조 표현으로 확장하는 것.
• 각 트리 노드에서 함의 관계에 대한 연속적이고 미분 가능한 표현을 도입하여 잎에서 루트로 향하는 재귀적 조합을 가능하게 하는 것.
• 전제에서 가설 및 가설에서 전제로의 양방향 정렬을 계산함으로써 정렬의 강건성을 향상시키는 이중 어텐션 메커니즘을 도입하는 것.
• 트리 구조 문장 표현을 인코딩하기 위해 Tree-LSTM를 사용하고, 단어가 아닌 트리 노드를 대상으로 어텐션을 적용하는 것.
• 학습된 조합 함수를 사용하여 자연 논리의 모듈러한 성격을 모방하는 방식으로 함의 관계를 재귀적으로 조합하는 것.
• 단어 수준의 정렬이 모호하거나 오류가 있을 경우에도 관련 하위트리 대응 관계를 식별하기 위해 소프트 어텐션을 적용하는 것.

실험 결과

연구 질문

• RQ1 트리 구조 어텐션가 단어 수준 어텐션 메커니즘을 초월하여 텍스트 함의 인식을 향상시킬 수 있는가?
• RQ2 하위트리 수준의 함의 관계 재귀적 조합이 모델 성능과 해석 가능성에 어떻게 기여하는가?
• RQ3 이중 어텐션 메커니즘이 모호하거나 잘못된 단어 정렬로 인한 오류를 완화할 수 있는가?
• RQ4 문법적 구조를 모델링함으로써 어순이나 구문 수준 의미를 포함한 어려운 함의 케이스에서 일반화 성능이 얼마나 향상되는가?
• RQ5 연속적이고 미분 가능한 함의 조합 메커니즘이 이산 논리 기반 접근 방식에 비해 더 해석 가능한 대안을 제공할 수 있는가?

주요 결과

• 제안된 모델은 SNLI 데이터셋에서 기준 트리-LSTM 및 표준 어텐션 모델에 비해 유의미한 정확도 향상을 달성한다.
• 이중 어텐션 메커니즘이 전제에서 가설 및 가설에서 전제로의 양방향 정렬을 고려함으로써, 암묵적이거나 모호한 대응 관계가 있는 경우 정렬 오류를 감소시킨다.
• 표준 어텐션 모델이 실패하는 경우, 예를 들어 'auditorium'이 'sitting'에 잘못 정렬되는 경우에도 모델은 모순을 정확히 식별한다.
• 함의 관계의 재귀적 조합은 최종 함의 결정이 어떻게 형성되는지 명확한 하향식 설명을 제공하여 해석 가능성을 향상시킨다.
• 비단조화 어휘(예: 'stuffed')를 포함한 케이스에서 표준 어텐션 모델보다 성능이 뛰어나며, 이는 구문 수준 의미가 개별 단어 정렬보다 더 중요하게 작용하기 때문이다.
• 어순 뒤집힘 또는 미묘한 의미 변화(예: 'loves' 대비 'loved')가 함의에 영향을 주는 문장 쌍을 성공적으로 처리하여, 구조적 변동에 대한 강건성을 입증한다.