[논문 리뷰] Constituency Parsing with a Self-Attentive Encoder

Nikita Kitaev, Dan Klein|arXiv (Cornell University)|2018. 05. 02.

Natural Language Processing Techniques참고 문헌 9인용 수 44

한 줄 요약

논문은 LSTM 인코더를 셀프 어텐션 인코더로 대체하여 discriminative constituency parser에서 SOTA를 달성하고 WSJ에서 강력한 다국어 성능을 보이며, 콘텐츠와 위치 어텐션을 구분하는 것이 파싱 향상에 기여함을 분석합니다.

ABSTRACT

We demonstrate that replacing an LSTM encoder with a self-attentive architecture can lead to improvements to a state-of-the-art discriminative constituency parser. The use of attention makes explicit the manner in which information is propagated between different locations in the sentence, which we use to both analyze our model and propose potential improvements. For example, we find that separating positional and content information in the encoder can lead to improved parsing accuracy. Additionally, we evaluate different approaches for lexical representation. Our parser achieves new state-of-the-art results for single models trained on the Penn Treebank: 93.55 F1 without the use of any external data, and 95.13 F1 when using pre-trained word representations. Our parser also outperforms the previous best-published accuracy figures on 8 of the 9 languages in the SPMRL dataset.

연구 동기 및 목표

• 셀프 어텐션 인코더가 state-of-the-art discriminative constituency parser에서 LSTM 인코더를 능가할 수 있음을 보여준다.
• 인코더의 콘텐츠 정보와 위치 정보를 명시적으로 분리하는 것이 파싱 정확도에 어떤 영향을 미치는지 조사하고 정보를 명시적으로 분리하는 방법을 탐구한다.
• 부분어(subword) 특성과 사전 학습된 컨텍스트 표현(Contextual embeddings)을 포함한 다양한 어휘 표현이 파싱 정확도에 미치는 영향을 평가한다.
• 외부 데이터 없이도 사전 학습 표현으로 WSJ에서 최첨단 결과를 보여주고, 다국어 일반화도 SPMRL에서 평가한다.
• 길고 먼 거리에 걸친 의존성 및 전역 컨텍스트가 파싱 결정에 미치는 역할을 분석한다.

제안 방법

• 인코더-디코더 아키텍처를 사용하되 인코더는 Transformer에서 영감을 받은 셀프 어텐션 네트워크로 8개의 멀티-헤드 셀프 어텐션과 위치별 피드포워드 서브레이어를 포함한다.
• 스팬 점수 s(i,j,l)을 엔드포인트 표현의 페어를 통한 신경망으로 계산하며 Stern et al. (2017a)의 접근 방식을 따른다.
• 입력 표현은 단어 임베딩, POS 태그 임베딩, 학습된 위치 임베딩을 결합하고, 콘텐츠와 위치 정보를 분리하는 팩터링 확장을 적용한다.
• 레이블된 스팬에 대한 마진 기반 힌지 손실로 학습하고 CKY 스타일의 추론을 디코딩에 사용한다.
• 콘텐츠 신호와 위치 신호를 분리하는 팩터링 어텐션 및 대체 어휘 표현(CharLSTM, CharConcat, ELMo)을 실험한다.
• Penn Treebank WSJ 및 SPMRL 다국어 데이터셋에서 평가하고 개발 및 테스트 세트의 F1 점수를 보고한다.

실험 결과

연구 질문

• RQ1 셀프 어텐션 인코더가 discriminative constituency parsing에서 LSTM 기반 인코더를 능가할 수 있는가?
• RQ2 인코더에서 콘텐츠와 위치 정보를 명시적으로 분리하는 것이 파싱 정확도를 향상시키는가?
• RQ3 부분어 특징 및 컨텍스트 임베딩을 포함한 다양한 어휘 표현이 파싱 성능에 어떤 영향을 미치는가?
• RQ4 모델이 WSJ에서 얼마나 잘 작동하고 SPMRL의 여러 언어에서 일반화되는가?

주요 결과

• 셀프 어텐션 인코더가 WSJ 개발 데이터에서 LSTM 인코더보다 향상된 성능을 보인다(92.67 F1 대 92.24 F1).
• 콘텐츠와 위치 정보를 팩터링하면 성능이 향상된다(팩터링 시 개발 데이터에서 93.15 F1).
• 콘텐츠 어텐션을 제거해도 영향이 제한적이며, 위치 어텐션이 더 중요한 전체 경향을 보인다; 콘텐츠는 더 높은 레이어에서 더 도움을 준다.
• 장거리 어텐션이 최대 정확도에 필수적이며, 엄격한 윈도잉은 성능을 해치고, 느슨한 윈도잉은 일부 글로벌 풀링 이점을 보존한다.
• CharLSTM 어휘 표현이 POStags보다 우수하며, 단어 임베딩 없이도 좋은 결과를 가능하게 한다(CharLSTM 93.61 dev with embeddings; 93.40 with no embeddings).
• ELMo 컨텍추얼 임베딩은 WSJ 테스트 F1을 95.13으로 올려 싱글 시스템 WSJ에서의 최첨단을 달성하며, 4-layer 인코더와 함께 사용될 때; 외부 데이터 없이도 기본 93.55 F1(싱글 시스템, WSJ만) 달성.