[논문 리뷰] Modelling Sentence Pairs with Tree-structured Attentive Encoder

Yao Zhou, Cong Liu외 1명|arXiv (Cornell University)|2016. 10. 10.

Topic Modeling참고 문헌 22인용 수 16

한 줄 요약

이 논문은 한 문장의 RNN 인코딩 표현을 사용하여 다른 문장의 트리 구조 인코딩 중 주의를 유도함으로써 문장 쌍 모델링을 향상시키는 트리 구조 주의 인코더를 제안한다. Child-Sum Tree-LSTM와 Tree-GRU를 통해 의존성 분석 트리에 주의를 통합함으로써, 의미 유사도(SICK) 및 참/거짓 질문 선택(AI2-8grade)에서 최고 성능을 기록하며, 낮은 n-gram 겹침 케이스에서 일반화 능력이 향상된 비주목 기반 베이스라인보다 뛰어난 성능을 보인다.

ABSTRACT

We describe an attentive encoder that combines tree-structured recursive neural networks and sequential recurrent neural networks for modelling sentence pairs. Since existing attentive models exert attention on the sequential structure, we propose a way to incorporate attention into the tree topology. Specially, given a pair of sentences, our attentive encoder uses the representation of one sentence, which generated via an RNN, to guide the structural encoding of the other sentence on the dependency parse tree. We evaluate the proposed attentive encoder on three tasks: semantic similarity, paraphrase identification and true-false question selection. Experimental results show that our encoder outperforms all baselines and achieves state-of-the-art results on two tasks.

연구 동기 및 목표

• 순차적 주의 메커니즘을 넘어서 트리 구조 신경망에 주의를 통합하여 문장 쌍 모델링을 향상시키는 것.
• 기존 모델이 인코딩 중에 문장 쌍을 독립적으로 취급하는 한계를 해결하기 위해, 구조적 인코딩 중에 상호 문장 주의를 가능하게 하는 것.
• 다른 문장의 표현 기반으로 더 관련성이 높은 부분 트리에 동적으로 주의를 기울임으로써 재귀 신경망 내 의미 조합을 향상시키는 것.
• 의미 유사도, 동의어 식별, 질문 선택과 같은 다양한 문장 쌍 작업에 대해 여러 벤치마크 데이터셋에서 모델을 평가하는 것.
• 트리 구조 모델에서 주의가 성능과 일반화 능력을 향상시키며, 특히 낮은 겹침 또는 복잡한 문장 쌍에서 유의미한 영향을 미치는지 입증하는 것.

제안 방법

• 모델은 이중 단계 아키텍처를 사용한다: 먼저 순차적 RNN(LSTM 또는 GRU)이 각 문장을 문맥적 표현으로 인코딩한다.
• 두 번째 단계에서 주의적 트리-RNN(Tree-LSTM 또는 Tree-GRU)이 의존성 분석 트리에서 문장을 재귀적으로 구성하며, 다른 문장의 RNN 출력을 주의의 쿼리로 사용한다.
• 주의 가중치는 각 내부 노드에서 자식 노드들에 대해 계산되며, 이로써 구성 과정에서 의미적으로 관련성이 높은 부분 트리를 강조할 수 있다.
• 주의 메커니즘은 쿼리(다른 문장의 표현)와 각 자식의 은닉 상태 간의 호환성 함수를 통해 구현된다.
• 양쪽 트리에서 유도된 최종 문장 표현은 다층 퍼셉트론에 입력되어 문장 쌍 작업에 대해 분류 또는 회귀를 수행한다.
• 모델은 작업에 따라 교차 엔트로피 또는 평균 제곱 오차 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 주의를 트리 구조 재귀 신경망에 효과적으로 통합하여 문장 쌍 모델링을 향상시킬 수 있는가?
• RQ2 한 문장의 표현을 사용하여 다른 문장의 구조적 인코딩을 유도함으로써 의미 유사도 및 동의어 식별 작업 성능이 향상되는가?
• RQ3 낮은 n-gram 겹침 케이스에서 주의적 트리-RNN은 비주목 기반 트리-RNN보다 일반화 능력이 뛰어나게 되는가?
• RQ4 복잡하거나 겹침이 적은 문장 쌍에서 주의적 트리 인코더가 순차적 RNN이나 표준 트리-RNN보다 더 나은 의미 관계를 포착할 수 있는가?
• RQ5 주의 가중치는 어떤 문법적 부분 트리가 최종 표현에 가장 기여하는지에 대한 통찰을 제공하는가?

주요 결과

• 제안된 주의적 트리 인코더는 의미 유사도 작업에 대해 SICK 데이터셋에서 최고 성능을 기록하며, 모든 비주목 기반 베이스라인을 앞서며 성능을 뛰어나게 한다.
• 참/거짓 질문 선택 작업에 대해 AI2-8grade 데이터셋에서 최고 성능을 기록하며, 잘못된 질문을 식별하는 데 뛰어난 성능을 보였다.
• 낮은 n-gram 겹침 문장 쌍에서 일반화 능력이 향상되었으며, n-gram 겹침 비율이 40% 이하일 경우 주의적 Tree-GRU가 표준 Tree-GRU보다 뛰어난 성능을 보였다.
• 주의 시각화 결과 모델이 의미적으로 관련성이 높은 부분 트리에 집중하는 것으로 나타났다 — 예를 들어 'playing'의 표현을 구성할 때 'boy'보다 'outdoors'보다 더 많은 주의를 기울였다 — 이는 의미 있는 주의 행동을 보여준다.
• SICK에서 피어슨 상관계수 점수는 문장 길이가 길어질수록 감소하지만, 주의적 트리 인코더는 표준 Seq-RNN 및 Tree-RNN보다 더 나은 성능을 유지하며, 문장 길이가 20 토큰을 초과할 경우 특히 두드러진 성능 향상을 보였다.
• MSRP 데이터셋에서 수치적 동의어를 정확히 식별하지 못하는 것으로 나타나, 강력한 의미 유사도 성능에도 불구하고 수치 등가성을 포착하는 데에는 한계가 있음을 시사한다.