[論文レビュー] DisMo: A Morphosyntactic, Disfluency and Multi-Word Unit Annotator. An Evaluation on a Corpus of French Spontaneous and Read Speech

George Christodoulides, Mathieu Avanzi+1 more|arXiv (Cornell University)|Feb 8, 2018

Natural Language Processing Techniques参考文献 17被引用数 38

ひとこと要約

DisMo は、語彙的リソース、ルールベースのシステム、および条件付きランダムフィールド（CRF）を組み合わせることで、フランス語の話された言語の形態句・構文的分析、不順応、多語彙語群のアノテーションを統合したハイブリッドアノテータである。ベルギー、フランス、スイスの即興的および読み下ろしのフランス語からなる57kトークンのコーパスで学習され、句読点なしで音声同期された転写文における品詞タギングで95%から96.8%の正確性を達成している。

ABSTRACT

We present DisMo, a multi-level annotator for spoken language corpora that integrates part-of-speech tagging with basic disfluency detection and annotation, and multi-word unit recognition. DisMo is a hybrid system that uses a combination of lexical resources, rules, and statistical models based on Conditional Random Fields (CRF). In this paper, we present the first public version of DisMo for French. The system is trained and its performance evaluated on a 57k-token corpus, including different varieties of French spoken in three countries (Belgium, France and Switzerland). DisMo supports a multi-level annotation scheme, in which the tokenisation to minimal word units is complemented with multi-word unit groupings (each having associated POS tags), as well as separate levels for annotating disfluencies and discourse phenomena. We present the system's architecture, linguistic resources and its hierarchical tag-set. Results show that DisMo achieves a precision of 95% (finest tag-set) to 96.8% (coarse tag-set) in POS-tagging non-punctuated, sound-aligned transcriptions of spoken French, while also offering substantial possibilities for automated multi-level annotation.

研究の動機と目的

• 即興的および読み下ろしのフランス語話された言語のための多段階的アノテーションシステムを開発すること。
• 即興的および読み下ろしのフランス語話された言語における形態句的および話法的レベルのアノテーションのための、公開可能で堅牢なツールの不足に対処すること。
• より高いアノテーションの正確性とスケーラビリティを実現するため、ルールベースの手法、語彙的リソース、およびCRFモデルを組み合わせたハイブリッドシステムを構築すること。
• 多様で多地域にわたるフランス語コーパス（即興的および読み下ろしの言語を含む）を用いて、システムの評価を行うこと。
• 自然言語処理および音声処理分野でフランス語コーパスを扱う研究者に利用可能な、再利用可能なツールを提供すること。

提案手法

• 品詞（POS）タギングに階層的なタグセットを採用し、細分化されたおよび粗い形態句的分析を両方可能にしている。
• 低リソースおよびノイズの多い話された言語の文脈においてタギングの正確性を向上させるために、ルールベースのコンponentsおよび語彙的リソース（例：形態辞書）を統合している。
• 逐次的ラベル付けの統計的基盤として、隣接するトークン間の依存関係をモデル化するため、条件付きランダムフィールド（CRF）が使用されている。
• 不順応検出は別々のアノテーションレイヤーとして実施され、即興的フランス語における埋め込み一時停止、繰り返し、自己修正を特定している。
• 多語彙語群（MWUs）は、文法的または意味的単位としてグループ化され、関連するPOSタグとともに認識され、話法的分析を支援している。
• システムは、ベルギー、フランス、スイスのフランス語話された言語からなる57kトークンのコーパスを用いて学習および評価されており、即興的および読み下ろしの言語バリエーションを含んでいる。

実験結果

リサーチクエスチョン

• RQ1 ルール、語彙的リソース、およびCRFモデルを組み合わせたハイブリッドシステムは、句読点なしで音声同期されたフランス語話された言語の転写文における品詞タギングで高い正確性を達成できるか？
• RQ2 1つのシステムが、形態句的および多語彙語群のアノテーションを維持したまま、即興的フランス語話された言語における不順応をどの程度効果的に検出できるか？
• RQ3 ベルギー語、フランス語、スイス語の異なる地域的バリエーションにおけるDisMoシステムの性能はどのように異なるか？
• RQ4 階層的なタグセットと多段階のアノテーション方式は、話された言語コーパスにおける文法的および話法的現象の表現を向上させることができるか？
• RQ5 フランス語話された言語における多段階のアノテーション（品詞、不順応、MWUs）を1つの統合システムですべて自動化することは、実現可能で効果的か？

主な発見

• 非句読点付きで音声同期された話されたフランス語の転写文に適用した際、DisMoは最も細分化された品詞タグセットで95%、粗いタグセットで96.8%の正確性を達成している。
• システムは不順応検出において優れた性能を示しており、即興的会話における埋め込み一時停止、繰り返し、自己修正といった一般的な不順応マーカーを効果的に特定している。
• 語彙的リソースとルールベースのコンponentsの統合により、低リソースおよびノイズの多い話された言語の文脈におけるタギング正確性が顕著に向上している。
• 多語彙語群認識コンponentは、意味的な文法的・意味的単位に内容語を効果的にグループ化しており、後続の話法的および意味的分析を支援している。
• CRFモデルとルールベースおよび語彙的コンponentsを組み合わせたハイブリッドアーキテクチャにより、多様なフランス語話された言語バリエーションにわたる堅牢でスケーラブルなアノテーションが可能になっている。
• ベルギー、フランス、スイスの3か国の57kトークンのコーパスを用いた評価により、話されたフランス語における地域的な変種の違いを考慮した一般化能力が確認された。