[논문 리뷰] Efficient Second-Order TreeCRF for Neural Dependency Parsing

Yu Zhang, Zhenghua Li외 1명|arXiv (Cornell University)|2020. 05. 03.

Topic Modeling참고 문헌 37인용 수 7

한 줄 요약

이 논문은 신경망 의존성 파싱을 위한 최초의 효율적인 이阶 TreeCRF 확장 기법을 제안하며, GPU 가속화된 배치 처리 내부 알고리즘과 역전파 기반 외부 알고리즘을 통해 전역적 구조 학습과 고차원 모델링을 가능하게 한다. 13개 언어의 27개 데이터셋에서의 실험 결과, 특히 부분 주석이 붙은 상황에서 파싱 정확도가 크게 향상되었으며, 딥 러닝 시대에도 구조 학습과 고차원 모델링이 여전히 효과적임을 입증한다.

ABSTRACT

In the deep learning (DL) era, parsing models are extremely simplified with little hurt on performance, thanks to the remarkable capability of multi-layer BiLSTMs in context representation. As the most popular graph-based dependency parser due to its high efficiency and performance, the biaffine parser directly scores single dependencies under the arc-factorization assumption, and adopts a very simple local token-wise cross-entropy training loss. This paper for the first time presents a second-order TreeCRF extension to the biaffine parser. For a long time, the complexity and inefficiency of the inside-outside algorithm hinder the popularity of TreeCRF. To address this issue, we propose an effective way to batchify the inside and Viterbi algorithms for direct large matrix operation on GPUs, and to avoid the complex outside algorithm via efficient back-propagation. Experiments and analysis on 27 datasets from 13 languages clearly show that techniques developed before the DL era, such as structural learning (global TreeCRF loss) and high-order modeling are still useful, and can further boost parsing performance over the state-of-the-art biaffine parser, especially for partially annotated training data. We release our code at https://github.com/yzhangcs/crfpar.

연구 동기 및 목표

• 딥 러닝 시대에 전통적인 기법인 구조 학습과 고차원 모델링이 최신의 biaffine 의존성 파서 성능을 추가로 향상시킬 수 있는지 조사하기 위해.
• TreeCRF에서 내부-외부 알고리즘의 오랜 효율성 문제, 특히 외부 계산의 비효율성을 해결하기 위해.
• 외부 계산을 명시적으로 수행하지 않고 역전파를 통한 은닉적 계산을 통해 biaffine 파서와 함께 이阶 TreeCRF의 엔드 투 엔드 훈련을 효율적으로 가능하게 하기 위해.
• 구조 학습(TreeCRF 손실을 통한)과 고차원 모델링(의존성 삼중항에 대한 triaffine 점수 계산)이 파싱 성능에 미치는 영향을 평가하기 위해, 특히 부분 주석이 붙은 상황에서의 성능 향상을 중심으로 한다.

제안 방법

• 두 번째 차수의 구조적 의존성을 포착하기 위해, 의존성 삼중항(부모, 자식, 형제)을 명시적으로 점수화하는 triaffine 레이어를 도입함으로써 biaffine 파서에 이阶 TreeCRF 확장을 제안한다.
• GPU에서 대규모 행렬 연산을 활용하는 배치 처리 내부 알고리즘을 설계하여, 이전의 CPU 전용 제약을 극복한다.
• 복잡한 외부 알고리즘을 역전파를 통한 은닉적 계산으로 대체함으로써, 명시적인 외부 계산 없이도 자연스럽게 기울기와 마진 확률을 산출한다.
• 전체 의존성 트리의 구조를 최적화하기 위해 글로벌 TreeCRF 손실 함수를 사용함으로써, 모델의 신뢰도 향상과 진짜 트리 분포와의 일치도 향상된다.
• 효율성을 유지하면서 biaffine 파서 프레임워크에 이阶 TreeCRF를 통합함으로써 국소적 및 전역적 구조 신호의 공동 최적화를 가능하게 한다.
• TreeCRF에서 유도된 마진 확률을 이용해 최소 베이즈 리스크 복원 및 주도적 학습 등의 후속 작업을 지원한다.

실험 결과

연구 질문

• RQ1 이阶 구조 모델링과 글로벌 TreeCRF 훈련이 최신 biaffine 의존성 파서의 성능을 추가로 향상시킬 수 있는가?
• RQ2 내부-외부 알고리즘의 계산 복잡도가 현대 신경망 파싱 시스템에 TreeCRF를 적용하는 데 여전히 주요 장벽이 되는가?
• RQ3 다양분기 가능한 엔드 투 엔드 훈련 환경에서 외부 알고리즘이 역전파로 효과적으로 대체될 수 있는가?
• RQ4 TreeCRF 손실을 통한 구조 학습이 부분 주석이 붙은 데이터에서 더 나은 수렴성과 성능 향상에 기여하는가?
• RQ5 BiLSTM 인코더가 암묵적으로 포착하는 것 이상의 고차원 의존성은 파싱 정확도 향상에 얼마나 기여하는가?

주요 결과

• 제안된 이阶 TreeCRF 확장은 표준 biaffine 파서에 비해 파싱 성능을 크게 향상시키며, 특히 부분 주석이 붙은 학습 데이터에서 일관된 UAS 및 LAS 향상이 관찰되었다. 이는 27개 데이터셋 전반에 걸쳐 확인되었다.
• 배치 처리 내부 알고리즘이 GPU 훈련을 효율적으로 가능하게 하여 훈련 시간을 감소시키고, 대규모 신경망 파싱에 있어 TreeCRF의 실현 가능성을 높였다.
• 역전파를 통한 외부 알고리즘의 은닉적 계산은 명시적인 외부 계산이 필요 없이도 정확한 기울기와 마진 확률을 산출함을 보여주었다.
• TreeCRF 손실을 통한 구조 학습은 국소적 헤드 선택 손실 대비 더 나은 수렴 행동과 더 높은 완전한 트리 일치율을 보였다.
• triaffine 점수 계산을 통한 고차원 모델링은 측정 가능한 성능 향상을 이끌었으며, BiLSTM 인코더의 인덕티브 바이어스와의 보완 효과를 입증했다.
• 다양한 벤치마크에서 최고 성능을 기록하였으며, 특히 자원이 적거나 부분 주석이 붙은 환경에서 뚜렷한 성능 향상이 관찰되었다.