[논문 리뷰] Bidirectional Tree-Structured LSTM with Head Lexicalization

Zhiyang Teng, Yue Zhang|arXiv (Cornell University)|2016. 11. 21.

Topic Modeling참고 문헌 30인용 수 27

한 줄 요약

이 논문은 자동 헤드 어휘화를 갖춘 이방향 트리 구조의 LSTM을 제안하여, 모든 노드에 헤드 단어 표현을 통합하고 상향식 정보 흐름을 가능하게 하여 구성 요소 트리 모델링을 향상시킨다. 이 방법은 스탠포드 감성 트리뱅크에서 감성 분류 정확도를 향상시키며, '매우 부정적' 및 '매우 긍정적' 클래스에서 각각 10%와 11%의 성능 향상을 기록하여 최신 기술 수준에 도달한다.

ABSTRACT

Sequential LSTM has been extended to model tree structures, giving competitive results for a number of tasks. Existing methods model constituent trees by bottom-up combinations of constituent nodes, making direct use of input word information only for leaf nodes. This is different from sequential LSTMs, which contain reference to input words for each node. In this paper, we propose a method for automatic head-lexicalization for tree-structure LSTMs, propagating head words from leaf nodes to every constituent node. In addition, enabled by head lexicalization, we build a tree LSTM in the top-down direction, which corresponds to bidirectional sequential LSTM structurally. Experiments show that both extensions give better representations of tree structures. Our final model gives the best results on the Standford Sentiment Treebank and highly competitive results on the TREC question type classification task.

연구 동기 및 목표

• 트리 구조의 LSTM이 잎 노드에서만 입력 단어를 사용하는 한계를 해결하기 위해, 비잎 노드에 대한 어휘 입력을 누락하는 문제를 해결한다.
• 모든 노드에 헤드 단어 정보를 통합함으로써 트리 구조의 LSTM 표현을 향상시켜 문맥적 및 의미적 모델링을 강화한다.
• 상향식 흐름과 유사한 상향식 정보 전파 경로를 도입함으로써 이방향 트리 모델링을 가능하게 한다.
• 규칙 기반 언어학적 의존성 없이, 신경망 기반의 형식 독립적 방법을 개발하여 헤드 어휘화를 수행한다.
• 감성 분류 및 파싱 작업에서 모델을 평가하여, 단방향 트리-LSTM 및 이방향 순차적 LSTM 기준선에 비해 뛰어난 성능을 입증한다.

제안 방법

• 하향식 계산을 확장한 트리 구조의 LSTM을 제안하며, 각 노드의 입력에 해당 구성 요소의 헤드 단어가 포함된다.
• 규칙 기반 헤드 찾기 의존성을 제거하기 위해, 신경망 어텐션 메커니즘을 사용해 각 구성 요소 노드에 대해 헤드 단어를 자동으로 학습한다.
• 루트에서 잎까지의 정보 전파 경로를 도입한 하향식 트리-LSTM 버전을 제안하며, 표준 상향식 흐름을 보완한다.
• 하향식 및 상향식 트리-LSTM 상태를 조합하여 이방향 트리 구조의 LSTM을 구성함으로써, 더 나은 문맥 표현을 확보한다.
• 노드 조합 상태와 학습된 헤드 벡터를 사용해 구조적 트리의 순서를 평가하기 위한 미분 가능한 스코어 함수를 활용해 파서 재순서 정렬을 수행한다.
• 노드 수준 스코어에 마진 손실을 사용해 모델을 엔드 투 엔드로 훈련함으로써, 트리 구조와 표현의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비잎 노드에 헤드 단어 정보를 통합하면 트리 구조의 LSTM의 표현 능력이 향상되는가?
• RQ2 트리 구조의 LSTM에서 상향식 정보 흐름이 장거리 의존성과 복잡한 의미 조합을 모델링하는 데 기여하는가?
• RQ3 일반화 능력과 성능 측면에서, 규칙 기반 접근법에 비해 신경망 기반 엔드 투 엔드 방법이 헤드 어휘화에서 더 나은 성능을 내는가?
• RQ4 감성 분류 및 파싱 작업에서 이방향 트리-LSTM는 단방향 트리-LSTM 및 이방향 순차적 LSTM 모델보다 우수한가?
• RQ5 자동으로 학습된 헤드 정보가 파서 재순서 정렬과 같은 문법 작업에 얼마나 기여하는가?

주요 결과

• 제안된 이방향 트리 구조의 LSTM은 스탠포드 감성 트리뱅크에서 이전 최고 기록을 갱신하며 가장 높은 정확도를 기록했다.
• 기준 모델 대비 '매우 부정적' 클래스에서 10%의 정확도 향상을, '매우 긍정적' 클래스에서 11%의 정확도 향상을 기록했다.
• 30단어를 초과하는 문장에서는 기준 모델인 ConTree LSTM 대비 정확도가 3.5점 향상되어 장거리 의존성 모델링에 효과적임을 입증했다.
• 자동 헤드 어휘화 메커니즘은 문법적 요소와 감성 관련 단어의 조합을 학습하여 의미 작업에 적응 가능함을 보였다.
• 파서 재순서 정렬에서 F1 점수는 기준 모델의 90.40에서 90.83으로 향상되어, 학습된 헤드 정보가 문법 작업에도 기여함을 확인했다.
• 감성 및 파싱 벤치마크에서 이방향 트리-LSTM는 단방향 트리-LSTM 및 이방향 순차적 LSTM 모델 모두를 능가하는 성능을 보였다.