[論文レビュー] Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling

Zihan Liu, Genta Indra Winata+2 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 30被引用数 13

ひとこと要約

本稿では、まずすべてのスロットタイプにわたるスロットエンティティをグローバルに特定し、その後、スロット記述との類似性を用いてその具体的なタイプを予測する、粗くから細かくまでのフレームワークであるCoachを提案する。テンプレート正則化を導入することで表現のロバスト性を向上させ、ゼロショットおよびフェイントショット設定において最先端の性能を達成し、未学習のスロットタイプにおいて顕著な向上を示し、クロスドメインNERに対しても強い汎用性を示している。

ABSTRACT

As an essential task in task-oriented dialog systems, slot filling requires extensive training data in a certain domain. However, such data are not always available. Hence, cross-domain slot filling has naturally arisen to cope with this data scarcity problem. In this paper, we propose a Coarse-to-fine approach (Coach) for cross-domain slot filling. Our model first learns the general pattern of slot entities by detecting whether the tokens are slot entities or not. It then predicts the specific types for the slot entities. In addition, we propose a template regularization approach to improve the adaptation robustness by regularizing the representation of utterances based on utterance templates. Experimental results show that our model significantly outperforms state-of-the-art approaches in slot filling. Furthermore, our model can also be applied to the cross-domain named entity recognition task, and it achieves better adaptation performance than other existing baselines. The code is available at https://github.com/zliucr/coach.

研究の動機と目的

• 低リソースのターゲットドメインにおけるデータ不足を解消するため、クロスドメインスロットフィリングにおいてゼロショットおよびフェイントショットの適応を可能にすること。
• 既存のモデルが未学習のスロットタイプを処理できず、曖昧なトークンに対して複数の予測を出してしまうという限界を克服すること。
• 異なるドメインにまたがる一般的なスロットエンティティのパターンを学習することで、モデルのロバスト性と一般化性能を向上させること。
• このフレームワークをクロスドメインネーミングエンティティ認識（NER）に拡張し、より広範な適用可能性を示すこと。

提案手法

• モデルはBiLSTM-CRFを用いて粗いレベルの分類を実行し、各トークンがスロットエンティティ（3クラス：O, B, I）であるかどうかを判定する。
• 細かい予測のため、符号化されたスロットエンティティ表現と、あらかじめ符号化されたすべての可能なスロットタイプの記述との類似度を計算する。
• 二重エンコーダー構造を採用：一方は発話の符号化、もう一方はスロットタイプ記述の符号化であり、すべてのスロットタイプで共有パラメータを用いる。
• テンプレート正則化は、正しいおよび誤ったスロットラベルの置き換えを用いて発話をテンプレートに脱デリシャル化し、意味的に類似した発話を表現空間でクラスタリングするよう促進する。
• すべてのスロットタイプにわたる共有表現を活用することで、ドメイン固有の監視に依存しない一般的なスロットエンティティのパターンを学習する。
• この手法はスロットフィリングおよびクロスドメインNERの両方のタスクに適応可能であり、タスク間で一貫した性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 一般的なスロットエンティティのパターンを最初に学習することで、粗くから細かくまでのアプローチが、クロスドメインスロットフィリングにおけるゼロショットおよびフェイントショットの適応を改善できるか？
• RQ2 テンプレート正則化はドメインシフトに伴うモデルのロバスト性と一般化性能をどのように向上させるか？
• RQ3 未学習のスロットタイプ（ソースドメインに存在しないタイプ）を検出し、正しく分類できる程度はどの程度か？
• RQ4 このフレームワークは、クロスドメインネーミングエンティティ認識（NER）のような他の系列ラベル付けタスクにも効果的に一般化できるか？
• RQ5 スロットエンティティの符号化戦略を変更した場合、最終的な性能にどのような影響を与えるか？

主な発見

• Coachは、ターゲットドメインで50件のラベル付きサンプルを用いた場合、未学習スロットで76.95のF1スコア、学習済みスロットで74.65のF1スコアを達成し、先行の最先端手法を顕著に上回った。
• テンプレート正則化を導入したことで、未学習スロットで80.16のF1スコア、学習済みスロットで76.49のF1スコアを達成し、適応のロバスト性が向上したことが示された。
• ゼロショット設定では、未学習スロットで34.09のF1スコア、学習済みスロットで32.89のF1スコアを達成し、ターゲットドメインのラベルが一切ない状況でも強力な一般化性能を示した。
• クロスドメインNERタスクでは、50件のラベル付きサンプルを用いて68.35のF1スコアを達成し、BiLSTM-CRFや他のベースラインを上回った。
• アブレーションスタディの結果、エンティティトークンのBiLSTM符号化が最良のパフォーマンスを示したが、Transformerや和集合プーリングといった代替手法も同等の結果を示した。
• テンプレート正則化はスロットフィリングにおいて性能向上をもたらしたが、NERにおいては、NERテキストのよりオープンエンドな性質がテンプレートの特定を困難にしたため、効果が限定的であった。