[論文レビュー] Composed Variational Natural Language Generation for Few-shot Intents

Congying Xia, Caiming Xiong+2 more|arXiv (Cornell University)|Sep 21, 2020

Topic Modeling参考文献 29被引用数 5

ひとこと要約

本稿では、ドメインとアクションの組み合わせとして意図をモデル化することで、少数の例での意図検出のための合成学習データを生成する、トランスフォーマーに基づく条件付き変分オートエンコーダーであるComposed Variational Natural Language Generation (CLANG)を提案する。分離された潜在変数と対照的正則化を用いることで、CLANGは少数の例での意図検出性能を向上させ、2つの実世界のデータセットで最先端の結果を達成した。

ABSTRACT

In this paper, we focus on generating training examples for few-shot intents in the realistic imbalanced scenario. To build connections between existing many-shot intents and few-shot intents, we consider an intent as a combination of a domain and an action, and propose a composed variational natural language generator (CLANG), a transformer-based conditional variational autoencoder. CLANG utilizes two latent variables to represent the utterances corresponding to two different independent parts (domain and action) in the intent, and the latent variables are composed together to generate natural examples. Additionally, to improve the generator learning, we adopt the contrastive regularization loss that contrasts the in-class with the out-of-class utterance generation given the intent. To evaluate the quality of the generated utterances, experiments are conducted on the generalized few-shot intent detection task. Empirical results show that our proposed model achieves state-of-the-art performances on two real-world intent detection datasets.

研究の動機と目的

• 不均衡なデータセットにおける少数の例での意図検出の課題に対処すること。
• 意図をドメインとアクションの組み合わせとしてモデル化することで、多数の例と少数の例の意図の間のギャップを埋めること。
• 分離された潜在表現を用いて、少数の例の意図のための高品質で多様な学習例を生成すること。
• 生成過程での対照的正則化を通じて、少数の例での意図検出における一般化性能を向上させること。
• 一般化された少数の例での意図検出タスクで最先端の性能を達成すること。

提案手法

• CLANGは、ドメインとアクションのための2つの独立した潜在変数を備えた、バイ・潜在変数変分エンコーダーを備えたトランスフォーマー基盤の条件付き変分オートエンコーダー（CVAE）である。
• 特化した自己注意マスクが、各潜在変数が入力発話の対応する意味的領域に集中できるようにし、ドメインとアクション表現の分離を実現する。
• 生成は、ドメインとアクションのためのサンプルされた潜在コードをデコーダーで合成することで行われる。
• 対照的正則化損失が導入され、クラス内（正例）発話をクラス外（負例）発話よりも尤もらしく生成するようにすることで、生成の忠実性が向上する。
• 推論時には、合成された変分推論が実行され、少数の例の意図に対して多様で関連性のある発話を生成する。
• このフレームワークは、既存の多数の例での意図データ上でエンドツーエンドに訓練され、少数の例への一般化に役立つ転送可能な表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 意図をドメインとアクションの組み合わせとしてモデル化することで、少数の例での意図生成と検出が向上するか？
• RQ2 ドメインとアクションのための分離された潜在表現が、未観測の少数の例の意図への一般化に寄与するか？
• RQ3 対照的正則化が、少数の例の文脈における生成発話の質と多様性を向上させるか？
• RQ4 合成された変分ジェネレータは、一般化された少数の例での意図検出において、既存のデータ拡張手法を上回るか？
• RQ5 CLANGは、リソースが限られた意図のための現実的で多様な学習例を効果的に生成できるか？

主な発見

• CLANGは、2つの実世界の意図検出データセットにおいて、一般化された少数の例での意図検出（GFSID）タスクで最先端の性能を達成した。
• 人間による評価では、Alarm Query意図の80.99％の生成発話が「良い」と評価され、大多数が有効なデータ拡張バリエーション（例：追加／削除、新しい時間枠、再表現化された質問）であった。
• モデルは19.01％の悪いケースを生成しており、主に誤った意図予測や誤った質問語の使用によるもので、分離の改善の余地があることを示している。
• 対照的正則化損失は、クラス外発話の生成確率を低下させることで、生成品質を顕著に向上させた。
• ルールベースの拡張や容量が限定的なLSTMを用いた既存の手法よりも、CLANGは優れた性能を示した。
• アブレーションスタディにより、分離された潜在構造と対照的損失の両方が最適な性能を達成するために不可欠であることが確認された。