[논문 리뷰] Structured Training for Neural Network Transition-Based Parsing

David J. Weiss, Chris Alberti외 2명|arXiv (Cornell University)|2015. 06. 19.

Natural Language Processing Techniques참고 문헌 31인용 수 40

한 줄 요약

이 논문은 신경망 전이 기반 의존성 파싱을 위한 구조적 퍼셉트론 학습 방법을 제안하며, 딥 네이처워크 표현과 비드-서치 디코딩, 구조적 학습을 융합한다. 삼중 학습을 통해 무라벨 데이터를 활용하고, 모든 네트워크 레이어의 활성화 값을 구조적 퍼셉트론에서 특징으로 사용함으로써 펜 트리뱅크에서 94.26%의 무라벨 첨부 정확도와 92.41%의 라벨 첨부 정확도를 달성하여 스탠포드 의존성에 대해 새로운 최고 성능을 수립한다.

ABSTRACT

We present structured perceptron training for neural network transition-based dependency parsing. We learn the neural network representation using a gold corpus augmented by a large number of automatically parsed sentences. Given this fixed network representation, we learn a final layer using the structured perceptron with beam-search decoding. On the Penn Treebank, our parser reaches 94.26% unlabeled and 92.41% labeled attachment accuracy, which to our knowledge is the best accuracy on Stanford Dependencies to date. We also provide in-depth ablative analysis to determine which aspects of our model provide the largest gains in accuracy.

연구 동기 및 목표

• 신경망 표현과 구조적 학습, 비드-서치를 융합하여 의존성 파싱 정확도를 향상시키기.
• 구조적 퍼셉트론 학습을 통해 탐욕적 전이 기반 파싱의 검색 편향을 줄이기.
• 삼중 학습을 통해 대규모 무라벨 데이터를 활용하여 모델 일반화 능력을 향상시키기.
• 제거 분석을 통해 아키텍처 및 학습 선택에 대한 경험적 지침 제공하기.
• 스탠퍼드 의존성에 대해 펜 트리뱅크에서 새로운 최고 성능 확립하기.

제안 방법

• 로컬 파싱 구성에 대해 은닉층을 가진 딥 피드포워드 신경망이 단어, 품사 태그, 아크 레이블의 분포 표현을 학습한다.
• 디코딩에 직접 소프트맥스 확률을 사용하는 대신, 모든 네트워크 레이어의 활성화 값을 구조적 퍼셉트론 모델의 특징으로 사용한다.
• 비동기적 확률적 경사 하강법(ASGD)을 사용하여 구조적 퍼셉트론을 학습하고, 레이블 편향을 보정하기 위해 조기 업데이트를 적용한다.
• 추론 중에는 비드-서치 디코딩을 사용하여 여러 파싱 경로를 탐색하고 정확도를 향상시킨다.
• 무라벨 데이터는 삼중 학습을 통해 보강된다: 두 파서(BerkeleyParser 및 다른 파서)가 동일하게 파싱한 문장을 고신뢰도 학습 예제로 사용한다.
• 최종 모델은 신경망의 표현 능력과 구조적 학습을 융합하여 탐욕 모델의 편향을 보정한다.

실험 결과

연구 질문

• RQ1 비드-서치 디코딩에 비해 구조적 퍼셉트론 학습이 신경망 전이 기반 파서의 정확도를 크게 향상시킬 수 있는가?
• RQ2 모든 은닉층의 활성화를 구조적 퍼셉트론에 사용할 경우, 마지막 층만 또는 소프트맥스 확률만 사용하는 것보다 성능이 뛰어나지 않는가?
• RQ3 무라벨 데이터를 삼중 학습으로 활용할 경우, 특히 신경망 모델과 결합했을 때 파싱 성능 향상 정도는 어느 정도인가?
• RQ4 네트워크 깊이와 최적화 절차와 같은 아키텍처 선택이 파싱 정확도에 어떤 영향을 미치는가?
• RQ5 구조적 퍼셉트론이 탐욕 모델에서 흔히 발생하는 잘못된 예측 패턴을 보정하기 위해 소프트맥스 확률을 효과적으로 재가중시킬 수 있는가?

주요 결과

• 구조적 퍼셉트론 접근법은 기준 탐욕 모델 대비 0.8% 정확도 향상을 이룩하여 펜 트리뱅크에서 94.26% UAS와 92.41% LAS를 달성했다.
• 모든 은닉층의 활성화를 구조적 퍼셉트론에 사용할 경우 최고의 성능를 기록했으며, 이는 중간 표현이 함께 분류 정보를 담고 있음을 시사한다.
• 1,000만 개의 추가 토큰을 활용한 삼중 학습은 정확도를 거의 1.0% 향상시켰으며, 단순히 BerkeleyParser만을 사용한 표준 업트레이닝보다 뚜렷이 뛰어났다.
• 구조적 퍼셉트론은 탐욕 모델에서 흔히 발생하는 혼동 패tern, 예를 들어 'RIGHT(ccomp)'를 'RIGHT(conj)'로 잘못 분류하는 것을 보완하기 위해 소프트맥스 확률을 효과적으로 재가중시켰다.
• 제거 분석 결과, 백프로파게이션 중 두 은닉층을 소프트맥스 층에 연결하는 것은 탐욕 모델의 성능 향상에 기여하지 않았으며, 이는 이점이 아키텍처 변경이 아닌 구조적 학습에서 비롯됨을 시사한다.
• 심지어 탐욕적 신경망 모델도 삼중 학습을 거친 후에도 BerkeleyParser를 초월했으며, 이는 이 방법이 자원이 제한된 환경에서도 효과적이라는 것을 보여준다.