[論文レビュー] Multi-Task Self-Supervised Learning for Disfluency Detection

Shaolei Wang, Wanxiang Che+4 more|arXiv (Cornell University)|Aug 15, 2019

Speech and dialogue systems被引用数 4

ひとこと要約

本稿では、滑らかな文に挿入された不正確な語を特定するタスクと、元の文と破損した文を分類するタスクの2つの自己教師付きタスクを通じて、自動的に生成された疑似トレーニングデータを活用するマルチタスク自己教師付き学習フレームワークを提案する。この手法は、完全なデータセットで学習した場合、Switchboardテストセットで誤差を21%削減し、人間によるアノテーションデータの1%しか使用しない状況でもBERTを上回る性能を達成する。

ABSTRACT

Most existing approaches to disfluency detection heavily rely on human-annotated data, which is expensive to obtain in practice. To tackle the training data bottleneck, we investigate methods for combining multiple self-supervised tasks-i.e., supervised tasks where data can be collected without manual labeling. First, we construct large-scale pseudo training data by randomly adding or deleting words from unlabeled news data, and propose two self-supervised pre-training tasks: (i) tagging task to detect the added noisy words. (ii) sentence classification to distinguish original sentences from grammatically-incorrect sentences. We then combine these two tasks to jointly train a network. The pre-trained network is then fine-tuned using human-annotated disfluency detection training data. Experimental results on the commonly used English Switchboard test set show that our approach can achieve competitive performance compared to the previous systems (trained using the full dataset) by using less than 1% (1000 sentences) of the training data. Our method trained on the full dataset significantly outperforms previous methods, reducing the error by 21% on English Switchboard.

研究の動機と目的

• 人的にアノテートされた不順応検出データの高コストと希少性に対処すること。
• 自己教師付き事前学習が高価な人的アノテーションに依存するのを減らせるかどうかを調査すること。
• 文単位の文法的構造と不順応パターンを捉える自己教師付きタスクを設計すること。
• 標準のトレーニングデータのわずかな割合のみを用いて、不順応検出の性能を向上させること。
• 自然言語処理における低リソース環境において、マルチタスク自己教師付き学習の有効性を示すこと。

提案手法

• 無人ニュース文からランダムに語を追加または削除することで、大規模な疑似トレーニングデータを構築する。
• 不順応文に挿入されたノイズ語を特定・削除するタグ付けタスクを提案する。
• 元の滑らかな文と文法的に誤った破損文を区別する文分類タスクを導入する。
• 両方の自己教師付きタスクを同時に学習することで、強力な文表現を学習するニューラルネットワークを訓練する。
• 人的にアノテートされた不順応検出データの少量を用いて、事前学習モデルを微調整する。
• 隠れ表現を連結することで、BERTと組み合わせることでさらなる性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 自動的に生成されたデータを用いた自己教師付き事前学習が、不順応検出の性能向上に寄与するか？
• RQ2 文法的正しさと滑らかさの回復に重点を置いたマルチタスク自己教師付き目的が、モデルの一般化性能を向上させるか？
• RQ3 標準的な人的アノテーションデータの1%しか使用しない状況で、提案手法の有効性はどの程度か？
• RQ4 提案された自己教師付きモデルは、低データ環境下でBERTを上回るか、あるいは補完的であるか？
• RQ5 提案モデルとBERTを組み合わせることで、不順応検出の性能がさらに向上するか？

主な発見

• 完全なデータセットで学習した場合、英語のSwitchboardテストセットで誤差を21%削減し、以前の手法を著しく上回る。
• 人的にアノテートされた文がたった1,000件（全データセットの1%未満）の状況でも、F1スコア86.1%を達成し、同じ低データ設定でBERTの82.4%を上回る。
• 全データセットで90.2%のF1スコアを達成し、最高の報告済み結果と同等の性能を示し、以前の最先端手法を上回る。
• 自己教師付きタグ付けタスクと分類タスクはそれぞれ80%のF1スコアと97%の正答率を達成しており、学習可能で有用であることが確認された。
• 提案モデルとBERTを組み合わせることでさらなる性能向上が得られ、全データセットで91.4%のF1スコア、1,000文の設定で87.8%のF1スコアを達成した。これは、補完的な表現を有する可能性を示している。
• 非繰返し不順応（70.8%のF1スコア）に対して特に優れた性能を発揮し、ルールベースやランダム初期化モデルよりも複雑な構造的パターンをよりよく捉えていることが示された。