[論文レビュー] Multi-domain Neural Network Language Generation for Spoken Dialogue Systems

Tsung-Hsien Wen, Milica Gašić+5 more|arXiv (Cornell University)|Mar 3, 2016

Topic Modeling参考文献 31被引用数 16

ひとこと要約

本稿では、データ偽造と判別的学習を活用して、効率的なドメイン適応を可能にする、音声対話システム向けのマルチドメインニューラル言語生成フレームワークを提案する。まず、ドメイン外データセットからの合成データで事前学習を行い、次に少量のドメイン内データを用いて判別的目的関数で微調整することで、データ要件を低減しつつ、競争力のあるBLEUスコアとスロット誤差率を達成する。人的評価により、ターゲットドメインデータの10%のみを用いても、自然さと情報量の両面で優れた品質が確認された。

ABSTRACT

Moving from limited-domain natural language generation (NLG) to open domain is difficult because the number of semantic input combinations grows exponentially with the number of domains. Therefore, it is important to leverage existing resources and exploit similarities between domains to facilitate domain adaptation. In this paper, we propose a procedure to train multi-domain, Recurrent Neural Network-based (RNN) language generators via multiple adaptation steps. In this procedure, a model is first trained on counterfeited data synthesised from an out-of-domain dataset, and then fine tuned on a small set of in-domain utterances with a discriminative objective function. Corpus-based evaluation results show that the proposed procedure can achieve competitive performance in terms of BLEU score and slot error rate while significantly reducing the data needed to train generators in new, unseen domains. In subjective testing, human judges confirm that the procedure greatly improves generator performance when only a small amount of data is available in the domain.

研究の動機と目的

• 新しい未観測対話ドメインの神経言語生成器を訓練する際のデータ不足の課題に対処すること。
• 効果的な言語生成器を訓練するための大量アノテートドメイン内データへの依存度を低減すること。
• 2段階の訓練手順を通じて、リソースが限られたドメイン適応状況における一般化性能と性能を向上させること。
• 自動指標と人的評価の両方を用いて、提案手法の有効性を評価すること。

提案手法

• ドメイン外言語モデルを用いて、ドメイン内対話行動から生成された発話文を用いて、偽造された訓練データを合成する。
• 合成的・偽造されたデータ上で、シーケンス・トゥ・シーケンスRNNベースの言語生成器を事前学習し、ドメインに依存しないベースモデルを構築する。
• BLEUなどの直接最適化可能な目的関数を用いて、少量の実際のドメイン内データ上で、事前学習済みモデルを判別的学習により微調整する。
• BLEUスコアやスロット誤差率を直接最大化・最小化するような判別的目的関数を用いて、生成器を最適化する。
• 複数のドメイン（例：ラップトップ、テレビ、レストラン、ホテル）にわたって同じ適応レシピを適用し、汎用性を示す。
• AMTベースの人的評価を用いて、自然さ、情報量、および異なるデータ量・訓練戦略を用いたシステム間の対比的好みを評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン外データセットからの合成データで事前学習した神経言語生成器は、新しいリソースが限られたターゲットドメインに効果的に一般化できるか？
• RQ2 少量のドメイン内データしか利用できない状況で、判別的微調整は標準的な最尤学習に比べてどのように優れているか？
• RQ3 提案された2段階の適応手順は、自動指標（BLEU、スロット誤差率）と人的評価品質（自然さ、情報量）の両方を向上させるか？
• RQ4 ターゲットドメインデータの10%のみを用いても、フルデータ学習と同等の性能を達成できるか？
• RQ5 低データ環境下で、人的評価者が判別的学習手法を最尤学習よりも好むか？

主な発見

• 提案手法は、訓練データをフルドメインセットの10%にまで削減しても、競争力のあるBLEUスコアとスロット誤差率を達成しており、限られたデータでからかず学習する手法に比べて顕著に優れていた。
• ターゲットドメインデータの10%しか利用できない状況で、人的評価者は判別的微調整モデル（DT-10%）を最尤学習モデル（ML-10%）よりも顕著に自然で情報量が多いと評価した。
• ラップトップからテレビへの適応シナリオでは、DT-10%モデルの情報量スコアはフルデータベースライン（scrALL）と差がなく、データ不足下でも高品質な生成を実現していた。
• 好みテストでは、DT-10%がML-10%よりも55.1%の比較で好まれており（p < 0.005）、10%データでのからかず学習よりも66.1%の比較で好まれており（p < 0.005）、人的好みが判別的アプローチに傾いていることを確認した。
• 自動指標と人的評価の両方で妥当性が確認された結果、本手法は効果的なドメイン適応に必要なデータ量を顕著に削減した。
• この適応レシピは4つの異なる対話ドメインにわたって一般化可能であり、ドメインシフトに対して耐性があり、汎用性が確認された。