[論文レビュー] Sequence-to-Sequence Data Augmentation for Dialogue Language Understanding

Yutai Hou, Yijia Liu+2 more|arXiv (Cornell University)|Jul 4, 2018

Topic Modeling参考文献 43被引用数 117

ひとこと要約

この論文は、タスク指向対話における言語理解のための seq2seq ベースのデータ拡張フレームワークを導入し、デlexicalised utterances と diversity rank を用いて多様で意味的に整合した変種を生成し、限られた学習データで LU の性能を向上させる。

ABSTRACT

In this paper, we study the problem of data augmentation for language understanding in task-oriented dialogue system. In contrast to previous work which augments an utterance without considering its relation with other utterances, we propose a sequence-to-sequence generation based data augmentation framework that leverages one utterance's same semantic alternatives in the training data. A novel diversity rank is incorporated into the utterance representation to make the model produce diverse utterances and these diversely augmented utterances help to improve the language understanding module. Experimental results on the Airline Travel Information System dataset and a newly created semantic frame annotation on Stanford Multi-turn, Multidomain Dialogue Dataset show that our framework achieves significant improvements of 6.38 and 10.04 F-scores respectively when only a training set of hundreds utterances is represented. Case studies also confirm that our method generates diverse utterances.

研究の動機と目的

• タスク指向対話システムにおける限られた LU 訓練データへ対処するためのデータ拡張を動機づける。
• 意味的フレームを共有する発話を活用する完全にデータ駆動の seq2seq 拡張フレームワークを提案する。
• 多様性ランクを導入して多様な拡張発話を促進し、学習ペアを適切にフィルタリングする。
• 小さな訓練セットで ATIS および Stanford Multi-turn/Multidomain Dialogue Dataset における有効性を示す。

提案手法

• スロット値を意味ラベルに置換してデlexicalise し、d を形成し、seq2seq モデルを用いて lexical/構文的変種 d' を生成する。
• 多様性ランク k を入力に付加した条件付きで seq2seq モデルを訓練する（d, k を条件とする）/入力-フィード型の注意機構を備えたエンコーダ–デコーダで訓練する。
• EditDistance と長さ差ペナルティを用いて発話ペア間の多様性スコアを計算し、生成とフィルタリングを導くランクを割り当てる。
• 多様性ランクを追加トークンとして組み込み、生成を多様な変種へと誘導する。
• seq2seq モデル (D_seq2seq) の訓練時に、候補の中でより多様な半分のみを保持するよう訓練ペアをフィルタリングする。
• サーフェス実現はデlexicalised スロットを実際のスロット値へ文脈依存のマッピングを用いて戻し、不明 tokens はアテンションスコアで置換する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが不足している場合、LU のために意味的には同じだが多様な発話をどのように生成できるか？
• RQ2 同じ意味フレームの発話を活用するデータ駆動の seq2seq アプローチは LU のためのスロット充填性能を向上させるか？
• RQ3 明示的に多様性をモデル化することは LU のための有用な拡張データ生成にどのような役割を果たすか？
• RQ4 提案された拡張はデータ不足のシナリオや異なるドメインでどのように性能を発揮するか？

主な発見

• 訓練データが不足している場合に顕著な LU の利得：ATIS で 129 utterances で 6.38 F-score の改善、515 utterances で 2.87 F-score の改善（中程度の割合）。
• Stanford の対話データで 100 utterances の場合、3 ドメイン横断で平均改善は 10.04、500 utterances の場合は改善は 0.47。
• 本手法は意味フレームを保持しつつ多様で文法的に異なる発話を生み出すことをケーススタディで示した。
• アブレーションによると、seq2seq生成、多様性ランク、フィルタリングのそれぞれが性能に寄与しており、いずれかの要素を除去すると F-score が低下する。
• より多様性の低いペアをフィルタリングすることはノイズを避けるために重要であり、生成される発話の総数が減少してもそれは必要である。