[논문 리뷰] Neural Semi-Markov Conditional Random Fields forRobust Character-Based Part-of-Speech Tagging

Apostolos Kemos, Heike Adel외 1명|arXiv (Cornell University)|2018. 08. 13.

Natural Language Processing Techniques참고 문헌 35인용 수 3

한 줄 요약

이 논문은 토큰화에 의존하지 않고 분할 및 레이블링을 동시에 학습하는 엔드 투 엔드 신경 반마르코프 조건부 랜덤 필드(반-크프)를 제안한다. 이는 문자 수준의 품사 태깅을 위해 설계되었으며, 양방향 LSTM과 게이트형 컨볼루션 네트워크를 사용하여 문자 및 세그먼트 표현을 모델링하여 다양한 언어에서 최신 기술 수준의 성능을 달성하며, 손상된 토큰화 데이터에서 토큰 기반 모델보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Character-level models of tokens have been shown to be effective at dealing with within-token noise and out-of-vocabulary words. But these models still rely on correct token boundaries. In this paper, we propose a novel end-to-end character-level model and demonstrate its effectiveness in multilingual settings and when token boundaries are noisy. Our model is a semi-Markov conditional random field with neural networks for character and segment representation. It requires no tokenizer. The model matches state-of-the-art baselines for various languages and significantly outperforms them on a noisy English version of a part-of-speech tagging benchmark dataset. Our code and the noisy dataset are publicly available at http://cistern.cis.lmu.de/semiCRF.

연구 동기 및 목표

• 외부 토크나이저에 의존하지 않는 진정한 엔드 투 엔드 문자 수준의 품사 태거 개발
• 저자원 또는 형태학적으로 복잡한 언어에서 특히 노이즈가 많은 또는 손상된 토큰화에 대한 강건성 향상
• 신경 표현을 사용한 반마르코프 크프 프레임워크 내에서 분할과 레이블링을 함께 학습하기
• 중국어, 일본어, 베트남어, 영어를 포함한 다양한 문체적 특성을 가진 언어에서의 효과성 입증
• 재현 가능성과 향후 연구를 위해 공개된 코드와 노이즈가 있는 벤치마크 데이터셋 제공

제안 방법

• 모델은 원자료 문자 시퀀스를 원-핫 인코딩으로 처리하고, 양방향 LSTM을 통해 문자 임베딩을 학습한다.
• 공백 문자는 인접한 공백 여부를 나타내는 이진 특성으로 인코딩되며, 어휘에서 제외된다.
• 문자 임베딩 위에서 게이트형 컨볼루션 네트워크(grConv)를 사용하여 조합적 구조를 포착하는 세그먼트 표현을 계산한다.
• 신경 반마르코프 크프는 분할과 품사 태깅의 공동 모델링을 수행하며, 세그먼트 점수는 학습된 파라미터로, 레이블 간 전이 점수는 전이 점수로 정의된다.
• 학습에는 로그 공간의 프로파일링 알고리즘을, 추론에는 비터비 디코딩 알고리즘을 사용한다.
• 백프로파게이션을 통해 엔드 투 엔드로 학습되며, 분할 및 레이블링 정확도 최적화를 목표로 한다.

실험 결과

연구 질문

• RQ1 사전에 토크나이즈된 입력에 의존하지 않고도 문자 수준의 시퀀스 태거가 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 토큰 경계가 손상된 경우, 특히 노이즈가 많은 토큰화 환경에서 모델의 성능은 어떠한가?
• RQ3 분할과 레이블링의 공동 학습이 저자원 또는 형태학적으로 복잡한 언어에서 강건성을 향상시키는가?
• RQ4 청결한 데이터와 노이즈가 있는 데이터 모두에서 UDpipe+MarMot과 같은 강력한 베이스라인과 비교해 모델의 성능은 어떠한가?
• RQ5 중국어(공백 없음)와 베트남어(음절 기반 분할)와 같은 다양한 토큰화 패턴을 가진 언어 간에 일반화가 가능한가?

주요 결과

• 모델은 영어, 중국어, 일본어, 베트남어를 포함한 여러 언어에서 유니버설 디펜던시즈 데이터셋에서 최신 기술 수준의 F1 스코어를 달성한다.
• 청결한 영어 데이터셋에서 모델은 토큰 F1 98.69%와 품사 정확도 94.27%를 기록하며 이전 방법들을 능가한다.
• 랜덤으로 손상된 토큰화가 적용된 영어 데이터셋의 노이즈가 있는 버전에서 모델은 여전히 95.45%의 품사 정확도를 유지하며, UDpipe+MarMot는 18.05%로 급격히 떨어진다.
• 모델는 토큰화 노이즈에 대해 강력한 강건성을 보이며, 높은 노이즈 수준에서도 성능 저하가 미미하다. 이는 토큰 기반 모델과는 대조적이다.
• 반마르코프 크프의 사용은 분할과 레이블링의 공동 최적화를 가능하게 하여 국소적 결정을 수정하고 전체 일관성을 향상시킨다.
• 다양한 토큰화 과제를 안고 있는 언어들 간에 성능가 안정적이며, 일반화 능력이 뛰어나다는 것을 확인한다.