[논문 리뷰] A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing

Dat Quoc Nguyen|arXiv (Cornell University)|2018. 12. 29.

Natural Language Processing Techniques참고 문헌 42인용 수 7

한 줄 요약

이 논문은 베트남어의 동시어절 분리, 품사 태깅, 의존 구문 분석을 위한 첫 번째 신경 다중작업 학습 모델을 제안한다. 이는 BiLSTM-CRF 아키텍처를 활용해 BIST 기반의 의존 구문 분석기의 성능을 확장하여, 벤치마크 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

We propose the first multi-task learning model for joint Vietnamese word segmentation, part-of-speech (POS) tagging and dependency parsing. In particular, our model extends the BIST graph-based dependency parser (Kiperwasser and Goldberg, 2016) with BiLSTM-CRF-based neural layers (Huang et al., 2015) for word segmentation and POS tagging. On Vietnamese benchmark datasets, experimental results show that our joint model obtains state-of-the-art or competitive performances.

연구 동기 및 목표

• 기존 파이프라인 기반의 베트남어 자연어 처리 시스템에서 오류 전파 문제를 해결하기 위해 어절 분리, 품사 태깅, 의존 구문 분석을 동시에 학습하는 것.
• 부정확한 어절 분리 및 품사 태깅으로 인해 오류가 누적되는 단독 모델의 한계를 극복하기 위한 것.
• 모든 세 가지 작업 간 공유 표현을 활용하는 통합 신경망 아키텍처를 개발하여 전체 성능 향상.
• 베트남어와 같이 자소어가 복잡하고 자원이 적은 언어에 대해 다중작업 학습의 효과성을 입증하기 위한 것.
• 기존 파이프라인 접근 방식보다 우수한 표준 벤치마크에서의 성능을 보이는 확장 가능하고 엔드 투 엔드로 훈련 가능한 아키텍처를 제공하기 위한 것.

제안 방법

• 음절 수준의 표현을 기반으로 BIO 태그를 사용해 베트남어 어절 분리를 시퀀스 레이블링 문제로 공식화하고, BiLSTM-CRF 모델을 통해 예측한다.
• 각 음절을 음절 임베딩과 RDRsegmenter에서 유도한 초기 어절 경계 태그 임베딩의 연결로 표현한다.
• BiLSTM-CRF 모델을 사용해 어절 경계를 예측하고 음절에서 어절을 생성한다.
• 각 분리된 어절을 어절 임베딩과 음절 수준의 어절 임베딩을 연결하여 품사 태깅에 정보를 제공한다.
• 다른 BiLSTM-CRF 모델을 적용해 분리된 어절 시퀀스에서 품사 태그를 예측한다.
• 분리된 어절과 예측된 품사 태그를 그래프 기반 의존 구문 분석기(BIST 방식)에 입력하여 후보 헤드에 대한 점수 함수를 사용해 의존 관계와 레이블을 예측한다.

실험 결과

연구 질문

• RQ1 파이프라인 시스템과 비교해 복합적인 신경망 모델이 베트남어의 어절 분리, 품사 태깅, 의존 구문 분석 성능 향상에 기여하는가?
• RQ2 다중작업 학습이 베트남어에서 순차적인 자연어 처리 작업 간 오류 전파를 얼마나 효과적으로 줄이는가?
• RQ3 CRF 레이어와 품사 태그 임베딩이 통합 모델의 성능에 기여하는 정도는 어떠한가?
• RQ4 초기 어절 경계 태그 임베딩을 통합함으로써 어절 분리 성분의 정확도가 향상되는가?
• RQ5 공유 표현을 통한 공동 훈련이 구문 분석 성능 향상에 얼마나 기여하는가?

주요 결과

• 통합 모델은 모든 세 가지 작업—어절 분리, 품사 태깅, 의존 구문 분석—에 대해 베트남어 벤치마크 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 결과를 달성한다.
• 제거 실험 결과, 어절 분리에 대한 CRF 레이어를 제거하면 F1 점수가 약 0.3–0.4%p 감소함을 확인하여, 이 레이어가 시퀀스 레이블링에 있어 중요함을 입증한다.
• 품사 태깅에 대해 CRF 레이어를 소프트맥스 분류기로 대체할 경우 품사 태깅 F1 점수가 뚜렷이 감소함을 확인하여, 순서 모델링의 이점이 있음을 확인한다.
• 구문 분석 모듈에서 품사 태그 임베딩을 제거하면 UAS와 LAS 모두 1.0%p 이상 감소함을 확인하여, 품사 정보가 구문 분석에 있어 핵심적인 역할을 함을 입증한다.
• 모든 작업에서 파이프라인 전략(WS → POS → Dep)보다 통합 모델이 우수한 성능을 보이며, 공유 표현 학습의 이점이 입증된다.
• 규칙 기반 분할기에서 유도한 초기 어절 경계 태그를 사용하더라도 모델이 강건하고 효과적인 성능을 보임을 통해 뛰어난 일반화 능력을 입증한다.