[논문 리뷰] Recursive Subtree Composition in LSTM-Based Dependency Parsing

Miryam de Lhoneux, Miguel Ballesteros외 1명|arXiv (Cornell University)|2019. 02. 26.

Topic Modeling참고 문헌 27인용 수 8

한 줄 요약

이 논문은 BiLSTM 기반 전이 파싱에서 재귀적 서브트리 조합을 조사하며, BiLSTM이 상당한 서브트리 정보를 포착하고 있음에도 불구하고, 재귀적 조합이 보완적인 성능 향상을 제공함을 발견한다. 특히 정방향 LSTM 컨텍스트가 없는 경우에 그 효과가 두드러진다. 조합은 정방향 LSTM을 제거한 후 성능 복구에 가장 효과적으로 기여하며, 이는 역사 기반 특징을 잘 포착하고 있음을 시사한다. 그러나 전체적으로는 완전한 BiLSTM가 여전히 최상의 성능을 낸다.

ABSTRACT

The need for tree structure modelling on top of sequence modelling is an open issue in neural dependency parsing. We investigate the impact of adding a tree layer on top of a sequential model by recursively composing subtree representations (composition) in a transition-based parser that uses features extracted by a BiLSTM. Composition seems superfluous with such a model, suggesting that BiLSTMs capture information about subtrees. We perform model ablations to tease out the conditions under which composition helps. When ablating the backward LSTM, performance drops and composition does not recover much of the gap. When ablating the forward LSTM, performance drops less dramatically and composition recovers a substantial part of the gap, indicating that a forward LSTM and composition capture similar information. We take the backward LSTM to be related to lookahead features and the forward LSTM to the rich history-based features both crucial for transition-based parsers. To capture history-based information, composition is better than a forward LSTM on its own, but it is even better to have a forward LSTM as part of a BiLSTM. We correlate results with language properties, showing that the improved lookahead of a backward LSTM is especially important for head-final languages.

연구 동기 및 목표

• BiLSTM가 이미 계층적 정보를 포착할 수 있으므로, 재귀적 서브트리 조합이 BiLSTM 기반 전이 파서에서 가치가 있는지 여쭤본다.
• 특히 BiLSTM의 일부가 제거된 경우에 조합이 성능 향상에 기여하는 조건을 분리하여 분석한다.
• POS 태그와 재귀적 조합이 문맥적 특징을 포착하는 데 얼마나 중복되는지 평가한다.
• 언어 유형, 특히 머리말성 여부가 조합과 미리보기 기능의 효율성에 영향을 주는지 조사한다.

제안 방법

• Kiperwasser와 Goldberg(2016b) 방식의 전이 기반 파서를 사용하며, 특징 추출에 BiLSTM를 적용한다.
• BiLSTM 출력 위에 Tree-LSTM 유사 메커니즘을 사용해 서브트리 표현의 재귀적 조합을 도입한다.
• 정방향 LSTM, 역방향 LSTM 또는 둘 다 제거하는 아블레이션 연구를 수행하고, 조합 유무에 따라 성능을 평가한다.
• POS 태그와 문자 수준 임베딩을 제거하여 조합과의 중복성을 테스트한다.
• 다양한 모델 변형에 대해 재분석(Chu-Liu-Edmonds)을 통한 앙상블 디코딩을 시행하여 상호 보완적 정보를 평가한다.
• 11개 언어의 파싱 성능을 머리 방향성과 평균 아크 깊이 등의 언어학적 특성과 상관 분석한다.

실험 결과

연구 질문

• RQ1 BiLSTM 특징 추출기와 함께 사용할 때 재귀적 서브트리 조합이 유의미한 성능 향상을 가져오는가, 아니면 중복되는가?
• RQ2 조합이 적용된 경우, 정방향 또는 역방향 LSTM을 아블레이션했을 때 발생하는 성능 격차는 어떻게 비교되는가?
• RQ3 재귀적 조합이 문맥적 특징을 포착하는 데 POS 태그와 얼마나 중복되는가?
• RQ4 조합의 효율성은 언어 간에 다를까, 특히 머리말언어와 머리초기언어 간에 차이가 나는가?
• RQ5 역방향 LSTM의 사전보기 능력은 머리말언어에서 파싱 성능에 어떻게 영향을 주는가, 특히 머리말언어에서?

주요 결과

• 역방향 LSTM을 아블레이션하면 심각한 성능 저하가 발생하며, 이는 조합이 복구하지 못함을 보여, 사전보기 기능이 핵심적임을 시사한다. 또한 조합만으로는 이를 충분히 포착하지 못한다.
• 정방향 LSTM을 아블레이션하면 성능 저하가 더 작으며, 이는 조합이 상당 부분 복구함을 보여, 조합과 정방향 LSTM이 유사한 역사 기반 특징을 포착하고 있음을 시사한다.
• 조합이 가장 유익한 효과를 보이는 경우는 POS 태그를 제거했을 때이며, 이는 POS 태그와 조합이 문맥적 특징 학습에 부분적으로 중복됨을 시사한다.
• 역방향 LSTM의 사전보기 능력은 머리말언어에서 특히 중요하며, 이 경우 조합의 기여도는 머리초기언어보다 낮다.
• 조합이 있는 모델과 없는 모델을 앙상블하면 개별 모델보다 높은 UAS를 기록하며, 전체 앙상블은 체코어에서 92.0 UAS, 영어에서 87.2 UAS를 기록하여 개별 구성 요소를 초월한다.
• 평균 아크 깊이와 조합의 유용성 간에 명확한 상관관계를 발견하지 못했으며, 이는 구조적 복잡성만으로는 조합의 효율성 결정이 되지 않음을 시사한다.