[논문 리뷰] Do latent tree learning models identify meaningful structure in sentences?

Adina Williams, Andrew Drozdov외 1명|arXiv (Cornell University)|2017. 09. 04.

Natural Language Processing Techniques참고 문헌 30인용 수 7

한 줄 요약

이 논문은 신경 문장 파싱에서 잠재 트리 학습 모델이 의미 있고 언어학적으로 해석 가능한 문법적 구조를 발견하는지 조사한다. 텍스트 유추와 같은 문장 이해 과제에서 전통적 파서보다 성능을 뛰어넘는다 해도, 이러한 모델들은 일관성 없고 浅은, 표준이 아닌 파싱 전략을 학습하며 펜 트리뱅크 문법이나 확립된 문법/의미론적 원칙과 일치하지 않는다.

ABSTRACT

Recent work on the problem of latent tree learning has made it possible to train neural networks that learn to both parse a sentence and use the resulting parse to interpret the sentence, all without exposure to ground-truth parse trees at training time. Surprisingly, these models often perform better at sentence understanding tasks than models that use parse trees from conventional parsers. This paper aims to investigate what these latent tree learning models learn. We replicate two such models in a shared codebase and find that (i) only one of these models outperforms conventional tree-structured models on sentence classification, (ii) its parsing strategies are not especially consistent across random restarts, (iii) the parses it produces tend to be shallower than standard Penn Treebank (PTB) parses, and (iv) they do not resemble those of PTB or any other semantic or syntactic formalism that the authors are aware of.

연구 동기 및 목표

• 잠재 트리 학습 모델이 문장에서 언어학적으로 의미 있는 문법적 구조를 발견하는지 평가하기.
• 이러한 모델이 랜덤 재시작 동안 학습한 파싱 전략의 일관성과 해석 가능성 비교하기.
• 유도된 파싱이 펜 트리뱅크(PTB) 문법과 같은 표준 문법 형식과 얼마나 유사한지 평가하기.
• 이러한 모델이 문장 이해 과제에서 성공하는 데 기여하는 원인이 원칙적인 문법적 구조인지, 아니면 다른 메커니즘인지 조사하기.
• 이러한 발견이 향후 신경 문장 인코딩 아키텍처 설계에 미치는 영향 탐색하기.

제안 방법

• ST-Gumbel(Choi 등, 2018)과 RL-SPINN(Yogatama 등, 2017)이라는 두 가지 최첨단 잠재 트리 학습 모델을 동일한 코드베이스에 재현하여 직접 비교 가능하게 함.
• 엔드 투 엔드 학습을 통해 지표 파싱 지도 없이 SNLI 및 MultiNLI 데이터셋에서 두 모델을 훈련함.
• 다음 문장 분류 과제(MultiNLI, SNLI)에서 정량적 성능 평가와 함께 파싱 구조에 대한 정성적 평가 수행.
• 유도된 파싱 트리의 정성적 분석을 수행하고, PTB 스타일 파싱과 비교하며 구성요소의 해석 가능성 평가.
• 다양한 랜덤 초기화에서의 일관성 검사를 통해 학습된 파싱 전략의 안정성 평가.
• 기능어, 수식어, 문법 구성요소에 대한 분석을 통해 이질적이고 비표준적인 구조 탐지.

실험 결과

연구 질문

• RQ1 잠재 트리 학습 모델은 랜덤 가중치 초기화 간에 일관된 파싱 전략을 생성하는가?
• RQ2 유도된 파싱 트리가 펜 트리뱅크(PTB) 문법과 같은 표준 문법 형식과 어느 정도 유사한가?
• RQ3 이 모델이 식별한 구성요소는 해석 가능하고 의미적으로 일관된가, 아니면 이질적 또는 의미 없는 단위를 형성하는가?
• RQ4 비표준적인 파싱 행동을 보임에도 불구하고 이러한 모델이 문장 이해 과제에서 기존 파싱 기반 모델보다 성능이 뛰어나게 되는 이유는 무엇인가?
• RQ5 원칙적인 문법적 구조 없이도 강력한 성능을 달성할 수 있게 해주는 구조적 또는 구성적 특성들은 무엇인가?

주요 결과

• ST-Gumbel 모델만 MultiNLI 및 SNLI에서 전통적인 트리 기반 모델보다 성능이 뛰어났다.
• ST-Gumbel 모델은 랜덤 재시작 간에 파싱 전략이 매우 일관성 없었으며, 특히 기능어와 수식어 처리에서 두드러졌다.
• ST-Gumbel에서 유도된 파싱은 표준 펜 트리뱅크(PTB) 파싱보다 상당히 얕았으며, 계층 수준이 적었다.
• ST-Gumbel이 생성한 많은 구성요소들, 예를 들어 'we briefly' 또는 'the students acted with'는 의미적으로 이질적이며 일관된 의미 단위로 볼 수 없었다.
• RL-SPINN 모델은 매우 일관성 있었지만 비표준적인 왼쪽 지배 파싱 전략을 채택했으며, 언어학적으로 의미 있는 구조를 생성하지 못했다.
• 비표준적이고 일관성 없는 파싱 행동을 보였음에도 불구하고, 두 모델 모두 문장 이해 과제에서 강력한 성능을 보였으며, 이는 원칙적인 문법적 구조가 효과적인 표현 학습을 위해 필수적이지 않다는 것을 시사한다.