[논문 리뷰] Learning to parse from a semantic objective: It works. Is it syntax?

Adina Williams, Andrew Drozdov외 1명|arXiv (Cornell University)|2017. 09. 04.

Natural Language Processing Techniques참고 문헌 25인용 수 12

한 줄 요약

이 논문은 문장 구문 분석을 의미적 목표로 훈련한 신경망 모델이 의미 있는 문법을 학습하는지 조사한다. 문장 분류 과제에서 기존의 구문 분석기보다 성능이 뛰어나지만, 이러한 모델은 얕고 일관성 없는 분석을 생성하여 표준 문법적 또는 의미적 형식 체계와도 맞지 않는다.

ABSTRACT

Recent work on the problem of latent tree learning has made it possible to train neural networks that learn to both parse a sentence and use the resulting parse to interpret the sentence, all without exposure to ground-truth parse trees at training time. Surprisingly, these models often perform better at sentence understanding tasks than models that use parse trees from conventional parsers. This paper aims to investigate what these latent tree learning models learn. We replicate two such models in a shared codebase and find that (i) only one of these models outperforms conventional tree-structured models on sentence classification, (ii) its parsing strategies are not especially consistent across random restarts, (iii) the parses it produces tend to be shallower than standard Penn Treebank (PTB) parses, and (iv) they do not resemble those of PTB or any other semantic or syntactic formalism that the authors are aware of.

연구 동기 및 목표

• 골드 표준 파싱 트리 없이 훈련된 잠재 트리 학습 모델이 의미 있는 문법적 구조를 학습하는지 조사하기.
• 이러한 모델의 성능을 문장 분류 과제에서 기존의 트리 기반 모델과 비교하기.
• 다양한 무작위 초기화에서 생성된 파싱 결과의 일관성 및 구조적 특성 분석하기.
• 학습된 파싱 결과가 펜 트리뱅크(Penn Treebank) 파싱과 같은 알려진 문법적 또는 의미적 형식 체계와 유사한지 평가하기.

제안 방법

• 직접 비교를 위해 동일한 코드베이스에서 두 개의 최신 기술 잠재 트리 학습 모델을 재현하기.
• 훈련 중에 골드 표준 파싱 트리에 접근할 수 없도록 의미적 목표를 사용해 모델을 엔드 투 엔드로 훈련하기.
• 하류 이해 작업의 유용성을 평가하기 위해 문장 분류 과제에서 모델 성능 평가하기.
• 다중 무작위 가중치 초기화 및 훈련 런에서의 파싱 구조 일관성 분석하기.
• 생성된 파싱의 깊이 및 구조를 표준 펜 트리뱅크(PTB) 파싱과 비교하기.
• 학습된 파싱이 알려진 문법적 또는 의미적 형식 체계와 유사한지 평가하기.

실험 결과

연구 질문

• RQ1 의미적 목표로 훈련된 모델이 문법적으로 의미 있는 파싱 구조를 학습하는가?
• RQ2 이러한 모델이 생성하는 파싱은 깊이 및 구조 면에서 표준 펜 트리뱅크 파싱과 어떻게 비교되는가?
• RQ3 이러한 모델의 파싱 전략은 다양한 무작위 가중치 초기화 간에 일관성 있는가?
• RQ4 학습된 파싱 결과가 어떤 알려진 의미적 또는 문법적 형식 체계와 일치하는가?
• RQ5 명시적인 문법적 지도 없이도 이러한 모델이 문장 이해 과제에서 기존 구문 분석기보다 뛰어난 성능을 내는 이유는 무엇인가?

주요 결과

• 재현한 두 모델 중 유일하게 기존 트리 기반 모델보다 문장 분류 과제에서 성능이 뛰어난 모델이 하나 존재했다.
• 최고 성능을 낸 모델은 무작위 재시작 간에 일관되지 않은 파싱 전략을 보여, 학습의 불안정성을 시사했다.
• 최고 성능 모델이 생성한 파싱은 표준 펜 트리뱅크 파싱보다 상당히 얕았다.
• 학습된 파싱의 구조는 펜 트리뱅크나 기타 확립된 프레임워크를 포함해 어떤 알려진 문법적 또는 의미적 형식 체계와도 유사하지 않았다.
• 명시적인 문법적 지도 없이도 강력한 성능을 내어, 모델이 간접적 또는 비문법적 표현을 학습하고 있을 가능성이 있음을 시사했다.