[論文レビュー] Multi-domain Dialog State Tracking using Recurrent Neural Networks

Nikola Mrkšić, Diarmuid Ó Séaghdha+6 more|arXiv (Cornell University)|Jun 23, 2015

Speech and dialogue systems被引用数 1

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）を用いた階層的訓練手順を提案し、互いに分離された複数のドメインにまたがる多ドメイン対話状態追跡器を構築する。多様なドメイン外データで事前学習することで、新しいドメインにおいても、わずかなドメイン内データでも優れた性能を達成し、強力な転移学習とドメイン特化型ベースラインに対する一貫した改善を示している。

ABSTRACT

Dialog state tracking is a key component of many modern dialog systems, most of which are designed with a single, well-defined domain in mind. This paper shows that dialog data drawn from different dialog domains can be used to train a general belief tracking model which can operate across all of these domains, exhibiting superior performance to each of the domain-specific models. We propose a training procedure which uses out-of-domain data to initialise belief tracking models for entirely new domains. This procedure leads to improvements in belief tracking performance regardless of the amount of in-domain data available for training the model.

研究の動機と目的

• 複数の分離されたドメインにまたがる対話システムを運用できるオープンドメイン対話システムの構築という課題に対処すること。
• 大量のドメイン内学習データを必要とし、一般化に失敗するドメイン特化型信念追跡器の限界を克服すること。
• ドメイン外対話データを活用して、新ドメインの信念追跡モデルの初期化と改善を図る訓練手順を開発すること。
• ドメイン外データからの転移学習が、ドメイン内データが限られている状況でも性能を向上させることを実証すること。

提案手法

• 複数の対話ドメイン（例：レストラン、ホテル、ラップトップ、観光情報）の組み合わせを用いて、一般用途のRNNベース信念追跡器を学習させ、クロスドメイン対話パターンを習得する。
• デキスティャライズドn-gram特徴量を用いて発話表現を行う。スロット名と値を一般化されたプレースホルダ（例：[want tagged-slot-value]）に置き換えることで、未学習のスロットや値に対しても転移が可能になる。
• 階層的訓練手順を適用する：まず、すべての利用可能なドメイン外データで共有モデルを事前学習し、次にドメインごとにドメイン内データでファインチューニングする。
• 共有モデルが学習した表現を、新ドメイン特化型のトラッカーの初期化に活用することで、収束性と性能の向上を実現する。
• 6つの異なるドメイン（レストラン、ホテル、ラップトップなど）で、共同目標精度を主評価指標として用いる。
• 1ドメインあたり12モデルのアンサンブルを用いることで、性能推定の堅牢性を確保し、結果のばらつきを低減する。

実験結果

リサーチクエスチョン

• RQ1 1つのRNNベース信念追跡器を、複数の分離された対話ドメインにまたがって効果的に一般化できるか？
• RQ2 多様なドメイン外対話データで事前学習することで、リソースが限られたドメイン内設定における信念追跡器の性能が向上するか？
• RQ3 変動する量のドメイン内データが利用可能な状況で、ドメイン外データで初期化されたモデルの性能は、ドメイン特化型モデルと比べてどの程度優れているか？
• RQ4 多様なドメインから学習したデキスティャライズド特徴量が、新しい未確認ドメインへどの程度効果的に転送可能か？

主な発見

• すべてのドメイン外データ（R+T+H+L）で事前学習した共有モデルは、ミシガン州レストランドメインで76.8％の共同目標精度を達成し、完全なドメイン内データを用いたドメイン特化型モデル（75.0％）を上回った。
• ラップトップドメインでは、ドメイン外データで初期化されたモデルが78.9％の共同目標精度を達成し、ドメイン特化型ベースライン（74.7％）を顕著に上回った。
• 800件のドメイン内対話データでさえも、すべてのテストドメインにおいてドメイン内データのみで学習したモデルを一貫して上回った。
• ドメイン内データが限られている状況でのドメイン外事前学習による性能向上は顕著であり、高いデータ効率性を示した。
• デキスティャライズド特徴量の使用により、特にドメイン外データに類似したスロット・値パターンが存在しなかったラップトップドメインにおいても、効果的な転送が実現した。
• 階層的訓練手順は、ドメイン内データ量にかかわらず性能向上をもたらし、転移学習アプローチの堅牢性を確認した。