[논문 리뷰] DisMo: A Morphosyntactic, Disfluency and Multi-Word Unit Annotator. An Evaluation on a Corpus of French Spontaneous and Read Speech

George Christodoulides, Mathieu Avanzi외 1명|arXiv (Cornell University)|2018. 02. 08.

Natural Language Processing Techniques참고 문헌 17인용 수 38

한 줄 요약

DisMo는 프랑스어 구어 언어를 대상으로 한 하이브리드 형태구문 분석, 불순화, 다단어 구분자 어노테이터로, 품사 태깅, 불순화 탐지, 다단어 단위 인식을 위해 어휘 자원, 규칙 기반 시스템, 그리고 조건부 랜덤 필드(CRF)를 통합한다. 벨기에, 프랑스, 스위스의 자연스럽고 독서한 프랑스어 57,000단어 코퍼스를 기반으로 훈련되었으며, 구두점이 없고 음성에 맞춰 정렬된 전사문에서 품사 태깅의 정밀도가 95%에서 96.8%에 이르렀다.

ABSTRACT

We present DisMo, a multi-level annotator for spoken language corpora that integrates part-of-speech tagging with basic disfluency detection and annotation, and multi-word unit recognition. DisMo is a hybrid system that uses a combination of lexical resources, rules, and statistical models based on Conditional Random Fields (CRF). In this paper, we present the first public version of DisMo for French. The system is trained and its performance evaluated on a 57k-token corpus, including different varieties of French spoken in three countries (Belgium, France and Switzerland). DisMo supports a multi-level annotation scheme, in which the tokenisation to minimal word units is complemented with multi-word unit groupings (each having associated POS tags), as well as separate levels for annotating disfluencies and discourse phenomena. We present the system's architecture, linguistic resources and its hierarchical tag-set. Results show that DisMo achieves a precision of 95% (finest tag-set) to 96.8% (coarse tag-set) in POS-tagging non-punctuated, sound-aligned transcriptions of spoken French, while also offering substantial possibilities for automated multi-level annotation.

연구 동기 및 목표

• 자연스럽고 독서한 프랑스어 말하기에서 형태구문, 불순화, 다단어 단위 분석을 통합한 다수준 어노테이션 시스템을 개발하기 위해.
• 자연스럽고 독서한 프랑스어 말하기에서 형태구문 및 토론 수준의 어노테이션을 위한 공개 가능하고 견고한 도구가 부족한 문제를 해결하기 위해.
• 정확도 향상과 확장성 향상을 위해 규칙 기반 방법, 어휘 자원, CRF 모델을 융합한 하이브리드 시스템을 구축하기 위해.
• 자연스럽고 독서한 말하기를 포함한 다양한 다국적 프랑스어 코퍼스를 대상으로 시스템을 평가하기 위해.
• NLP 및 음성 처리 분야에서 프랑스어 말하기 코퍼스를 다루는 연구자들이 사용할 수 있도록 공개 가능하고 재사용 가능한 도구를 제공하기 위해.

제안 방법

• DisMo는 품사 태깅을 위한 계층적 태그 세트를 사용하여 세밀한 분석과 개괄적인 분석을 모두 지원한다.
• 시스템은 저자원 및 노이즈가 많은 구어 언어 환경에서 태깅 정확도를 향상시키기 위해 규칙 기반 구성요소와 어휘 자원(예: 형태소 사전)을 통합한다.
• 조건부 랜덤 필드(CRF)는 문장의 연속된 토큰 간의 의존 관계를 모델링하는 통계적 기반으로서 순서 태깅의 핵심 역할을 한다.
• 불순화 탐지는 별도의 어노테이션 레이어로 수행되며, 구어 프랑스어에서의 채움 흐름, 반복, 수정을 식별한다.
• 다단어 단위(MWUs)는 문법적 또는 의미적 단위로 그룹화되며, 관련된 품사 태그와 함께 제공되어 토론 수준의 분석을 지원한다.
• 시스템은 벨기에, 프랑스, 스위스의 프랑스어 말하기 코퍼스(자연스럽고 독서한 방식 포함)에서 57,000단어 분량의 데이터를 기반으로 훈련 및 평가되었다.

실험 결과

연구 질문

• RQ1 규칙, 어휘 자원, CRF 모델을 융합한 하이브리드 시스템이 구두점이 없고 음성에 맞춰 정렬된 구어 프랑스어 전사문에서 품사 태깅에 대해 높은 정확도를 달성할 수 있는가?
• RQ2 동일한 시스템이 형태구문 및 다단어 단위 어노테이션을 유지하면서 자연스러운 프랑스어 말하기에서 불순화를 얼마나 효과적으로 탐지할 수 있는가?
• RQ3 프랑스어의 다양한 지역적 변형(벨기에어, 프랑스어, 스위스어) 간에 DisMo 시스템의 성능은 어떻게 달라지는가?
• RQ4 계층적 태그 세트와 다단계 어노테이션 체계는 말하기 언어 코퍼스에서 문법적 및 토론적 현상을 더 잘 표현하는 데 기여하는가?
• RQ5 프랑스어 말하기 언어에서 다수준 어노테이션(품사 태깅, 불순화, MWUs)을 단일 통합 시스템에서 자동화하는 것이 실현 가능하고 효과적인가?

주요 결과

• DisMo는 비어 있는, 음성에 맞춰 정렬된 구어 프랑스어 전사문에 적용했을 때 가장 세밀한 품사 태그 세트에서 95%의 정밀도를 달성했고, 개괄적인 태그 세트에서는 96.8%의 정밀도를 기록했다.
• 시스템은 자연스러운 말하기에서 흔한 불순화 표지자(채움 흐름, 반복, 자기 수정)를 성공적으로 식별하는 데 강력한 성능을 보였다.
• 어휘 자원과 규칙 기반 구성요소의 통합은 저자원 및 노이즈가 많은 구어 언어 환경에서 태깅 정확도를 크게 향상시켰다.
• 다단어 단위 인식 구성요소는 의미 있는 문법적 및 의미적 단위로 내용어를 효과적으로 그룹화하여 후속 토론 및 의미 분석을 지원했다.
• CRF 모델과 규칙 기반 및 어휘 구성요소를 융합한 하이브리드 아키텍처는 다양한 프랑스어 말하기 변형에서 견고하고 확장 가능한 어노테이션을 가능하게 했다.
• 벨기에, 프랑스, 스위스의 세 국가에서 수집한 57,000단어 코퍼스에 대한 평가를 통해 시스템이 프랑스어 말하기의 지역적 어미 변화에 대해 일반화 능력을 확인했다.