[論文レビュー] Improving Dialogue Breakdown Detection with Semi-Supervised Learning

Nathan Ng, Marzyeh Ghassemi+3 more|arXiv (Cornell University)|Oct 30, 2020

Topic Modeling参考文献 18被引用数 9

ひとこと要約

本論文は、対話の破綻検出を改善するための半教師あり学習手法——Redditデータにおける継続的事前学習と自己教師付き多様体ベースのデータ拡張（SSMBA）——を提案する。これらの手法は、DBDC5共有タスクではベースラインより12%以上、DBDC4では2%以上の精度向上を達成し、構造的変更を最小限に抑えつつ、対話タスクに広く適用可能であることを示している。

ABSTRACT

Building user trust in dialogue agents requires smooth and consistent dialogue exchanges. However, agents can easily lose conversational context and generate irrelevant utterances. These situations are called dialogue breakdown, where agent utterances prevent users from continuing the conversation. Building systems to detect dialogue breakdown allows agents to recover appropriately or avoid breakdown entirely. In this paper we investigate the use of semi-supervised learning methods to improve dialogue breakdown detection, including continued pre-training on the Reddit dataset and a manifold-based data augmentation method. We demonstrate the effectiveness of these methods on the Dialogue Breakdown Detection Challenge (DBDC) English shared task. Our submissions to the 2020 DBDC5 shared task place first, beating baselines and other submissions by over 12\% accuracy. In ablations on DBDC4 data from 2019, our semi-supervised learning methods improve the performance of a baseline BERT model by 2\% accuracy. These methods are applicable generally to any dialogue task and provide a simple way to improve model performance.

研究の動機と目的

• 対話の破綻検出におけるラベル付きデータの限界を克服するため、大規模なラベルなし対話データを活用する。
• タスク固有の微調整を必要としない半教師あり学習手法を用いて、対話の破綻検出におけるモデル性能を向上させる。
• 低リソースな対話環境下で、Redditでの継続的事前学習とSSMBAデータ拡張の有効性を評価する。
• これらの手法が対話タスク全体に一般化可能であり、既存のベースラインを著しく上回ることを示す。

提案手法

• 一般向け表現を非形式的・会話的な対話言語に適応させるために、BERTをRedditデータセットで継続的事前学習する。
• 事前学習済みBERTモデルを用いて、文脈をマスク・再構築することで、対話文ペアを用いた拡張された訓練例を生成するSSMBAを適用する。
• ラベルの一貫性を保ちつつ、拡張例と元のラベル付きデータを統合するために、ソフト擬似ラベルを用いる。
• 半教師あり事前処理後、標準的な教師あり学習を用いてDBDCデータセットで最終モデルを微調整する。
• テストセットにおける汎化性と耐性をさらに高めるために、上位のモデルをアンサンブルする。
• 継続的事前学習の前段階として、BERT BASEの重みからモデルを初期化し、事前に学習された言語的構造を活用する。

実験結果

リサーチクエスチョン

• RQ1 Redditデータでの継続的事前学習は、標準的なBERT微調整を上回る対話の破綻検出性能を実現できるか？
• RQ2 SSMBAによるデータ拡張は、低リソースな対話の破綿検出におけるモデルの汎化性と性能を向上させるか？
• RQ3 これらの半教師あり手法は、精度、F1スコア、JS発散の観点から、教師ありベースラインと比較してどのように差がつくか？
• RQ4 これらの手法は、過去の共有タスクデータ（DBDC4）および最新のDBDC5ベンチマークにおいて、どの程度性能を向上させるか？

主な発見

• 最終提出はDBDC5のテストセットで73.92%の精度を達成し、CRFベースラインより15.26ポイント高く、2番目に良い提出より12%高い。
• DBDC4では、ベースラインのBERTモデルが73.18%の精度を達成し、以前のコンテスト優勝者を13%以上上回った。
• Redditでの継続的事前学習を追加することで、ベースラインが0.92%の精度向上（74.10%）を達成し、JS発散が0.0021低下した。
• SSMBAデータ拡張を統合することで、精度は74.97%に上昇し、JS発散は0.0419に低下（ベースライン比0.0031の低下）。
• 上位4つのモデルをアンサンブルすることで、DBDC4での最終精度は75.54%に達したが、JS発散に劣化は見られず、堅牢な汎化性が示された。
• 半教師あり手法により、DBDC4ではF1スコアが0.02向上、DBDC5では0.135向上し、DBDC5ではJS発散が0.02低下した。