[논문 리뷰] SyntaxNet Models for the CoNLL 2017 Shared Task

Chris Alberti, Daniel Andor외 11명|arXiv (Cornell University)|2017. 03. 15.

Natural Language Processing Techniques참고 문헌 10인용 수 38

한 줄 요약

이 논문은 DRAGNN 프레임워크 기반으로 구축된 다국어 의존성 파싱 모델인 ParseySaurus를 소개한다. 이 모델은 문자 수준의 LSTM과 전이 기반 파싱, 그리고 공동 태깅을 결합하여 52개의 Universal Dependencies 트리뱅크에서 이전 최고 성능 모델 대비 3.47%의 절대적인 레이블 정확도 점수(LAS) 향상을 달성하며, 다국어 파싱 성능 향상에 있어 뚜렷한 성과를 보였다.

ABSTRACT

We describe a baseline dependency parsing system for the CoNLL2017 Shared Task. This system, which we call "ParseySaurus," uses the DRAGNN framework [Kong et al, 2017] to combine transition-based recurrent parsing and tagging with character-based word representations. On the v1.3 Universal Dependencies Treebanks, the new system outpeforms the publicly available, state-of-the-art "Parsey's Cousins" models by 3.47% absolute Labeled Accuracy Score (LAS) across 52 treebanks.

연구 동기 및 목표

• Universal Dependencies로의 다국어 파싱을 위한 CoNLL 2017 공동 과제에 강력하고 공개 가능한 기준 모델을 개발하기 위해.
• 문자 수준의 표현과 동적 순환 파싱을 통합하여 기존 SyntaxNet 모델을 향상시키기 위해.
• 사전 학습된 모델과 코드를 공개하여 소규모 연구 팀이 다국어 파싱에 참여할 수 있도록 하기 위해.
• 문자 수준의 특징을 활용한 태깅과 파싱의 공동 학습이 효과적인지 입증하기 위해.

제안 방법

• 모델은 원시 텍스트를 왼쪽에서 오른쪽으로 처리하는 단일 문자 수준의 LSTM을 사용하여 단어 경계에서 단어 표현을 생성한다.
• 두 번째로 오른쪽에서 왼쪽으로 처리하는 LSTM은 맥락을 위한 '미리보기' 표현을 생성한다.
• 세 번째 LSTM은 품사 태그 예측을 위해 훈련되며, 이는 앞서 생성된 '미리보기' 표현을 입력으로 받아 공동 태거로 기능한다.
• 파싱 구성 요소는 비드 서치(비드 크기 8)를 사용하는 전이 기반 아크-표준 시스템을 사용하며, 스택, 버퍼, 태거/미리보기 계층에서 유래한 입력 표현을 동적으로 통합한다.
• 모든 구성 요소는 태거와 파서를 번갈아 업데이트하는 다중 작업, 최대 우도 '스택 전파' 방법을 사용해 공동으로 훈련된다.
• 모델은 자기 정규화 소프트맥스, 레이어 정규화, 기울기 클리핑, 드롭아웃, 적응형 학습률을 사용하는 ADAM 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 통합된 문자 인식 신경망 아키텍처가 다양한 언어에서 다국어 의존성 파싱 성능을 향상시킬 수 있는가?
• RQ2 문자 수준의 표현을 공동 파싱 및 태깅과 통합할 경우, 이전 모델 대비 정확도에 어떤 영향을 미치는가?
• RQ3 의존성 파싱에서 표현의 동적 순환 조합이 정적 또는 고정 순서 모델보다 우수한 성능을 내는 정도는 어느 정도인가?
• RQ4 단일 공유 모델 아키텍처가 Universal Dependencies v1.3 트리뱅크의 52개의 다양한 언어에서 강력한 성능을 달성할 수 있는가?
• RQ5 자기 정규화 소프트맥스 훈련이 신경망 의존성 파싱에서 비드 서치 성능을 향상시키는가?

주요 결과

• ParseySaurus는 52개의 Universal Dependencies 트리뱅크에서 이전의 'Parsey’s Cousins' 모델 대비 3.47%의 절대적인 레이블 정확도 점수(LAS) 향상을 달성하였다.
• 희소 자원 언어에서 뚜렷한 향상이 나타났으며, 라트비아어에서는 12.0%의 절대 LAS 향상을 기록하였다.
• 평균적으로 오류는 14.4% 상대적으로 감소(RRIE)하여 다양한 언어에서 뚜렷한 성능 향상을 보였다.
• 52개 트리뱅크 전역에서 이전 최고 성능 모델을 모두 초월하였으며, 특히 형태학적으로 복잡하거나 자원이 적은 언어에서 가장 큰 향상이 관찰되었다.
• 문자 수준의 LSTMs와 태깅과의 공동 훈련을 통해 희귀어나 OOV(어휘 외 단어)에 대한 강건성과 정확도가 크게 향상되었다.
• 사전 학습된 모델과 코드를 포함한 구현은 커뮤니티의 사용과 확장이 가능하도록 SyntaxNet GitHub 저장소에서 공개되어 있다.