[論文レビュー] ProtAugment: Unsupervised diverse short-texts paraphrasing for intent detection meta-learning

Thomas Dopierre, Christophe Gravier+1 more|arXiv (Cornell University)|May 27, 2021

Topic Modeling参考文献 38被引用数 8

ひとこと要約

ProtAugmentは、多様で自己教師付きの言い換え文生成を用いて、プロトタイプネットワークを向上させる教師なしメタラーニングフレームワークを提案する。未ラベルデータに対して微調整されたノイズ除去オートエンコーダーを用い、制約付き多様なビームサーチを適用することで、過学習を低減する一貫性損失を導入する。追加のラベル付けやドメイン特化の微調整を一切行わず、1ショット設定で先行手法を最大5.27ポイント上回る最先端の性能を達成する。

ABSTRACT

Recent research considers few-shot intent detection as a meta-learning problem: the model is learning to learn from a consecutive set of small tasks named episodes. In this work, we propose ProtAugment, a meta-learning algorithm for short texts classification (the intent detection task). ProtAugment is a novel extension of Prototypical Networks, that limits overfitting on the bias introduced by the few-shots classification objective at each episode. It relies on diverse paraphrasing: a conditional language model is first fine-tuned for paraphrasing, and diversity is later introduced at the decoding stage at each meta-learning episode. The diverse paraphrasing is unsupervised as it is applied to unlabelled data, and then fueled to the Prototypical Network training objective as a consistency loss. ProtAugment is the state-of-the-art method for intent detection meta-learning, at no extra labeling efforts and without the need to fine-tune a conditional language model on a given application domain.

研究の動機と目的

• ラベル付きデータが限られた低リソースかつドメイン特化型の会話型エージェントにおける少サンプル意図検出の課題に対処すること。
• 短テキスト分類における偏った少サンプル分布に起因するメタラーニングの過学習を克服すること。
• 多様な言い換えによる教師なしデータ拡張を通じて、プロトタイプネットワークの表現の頑健性を向上させること。
• 各アプリケーションドメインごとに条件付き言語モデルを微調整する必要のないスケーラブルでドメインに依存しない手法を開発すること。
• 追加のラベル付け作業なしに、少サンプル意図検出で最先端の性能を達成すること。

提案手法

• 未ラベルの短テキスト上で、sequence-to-sequenceタスクで事前学習されたノイズ除去オートエンコーダーを微調整し、言い換え文生成に用いる。
• 復元段階で制約付き多様なビームサーチを適用し、元の入力とは意味的に異なる多様な言い換え文を生成する。
• プロトタイプネットワークフレームワーク内での入力とその言い換え文の間のモデル不変性を強制することで、一貫性損失を導入する。
• 入力文からのトークンの再利用を防ぐために、復元段階でマスキング戦略を用いることで、さらに多様性を向上させる。
• メタラーニング分類と教師なし言い換え文一貫性を組み合わせた総合損失を用いて、エンドツーエンドでモデルを訓練する。
• ドメイン特化の適応なしに、複数のデータセットに対してゼロショットでこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 教師なしで多様な言い換え文生成は、リソースが限られた環境下での少サンプル意図検出を改善できるか？
• RQ2 制約付きデコードによる言い換え文の多様性の導入は、標準的なビームサーチを上回るモデルの一般化性能を向上させるか？
• RQ3 1つの事前学習済み言語モデルを、各アプリケーションドメインに対して微調整なしに効果的に応用できるか？
• RQ4 言い換え文による教師なしデータ拡張は、短テキスト分類のメタラーニングにおける過学習をどの程度低減できるか？
• RQ5 ラベル付きデータが極めて限られた状況で、ProtAugmentは教師ありベースラインと比べてどの程度優れているか？

主な発見

• 1ショット設定では、4つの公開データセット全体で平均5.27ポイントの向上を達成し、追加のラベル付けコストなしにプロトタイプネットワークを上回る。
• 5ショット設定では、ベースライン比で平均2.85ポイントの向上を達成する。
• クラスあたり10件のラベル付きサンプル（低プロファイル）でのみ学習した場合、全訓練セット（フルプロファイル）を用いた完全な教師ありベースラインを上回る。
• モデルはヴァナイルなプロトタイプネットワークよりも安定しており、実行回数間での標準偏差が著しく低い。
• 制約付き多様ビームサーチにおけるユニグラムマスキング戦略は、通常の多様ビームサーチに比べて最大2ポイントの性能向上をもたらす。
• モデルはデータセット間で頑健に動作し、Clinicデータセットは特に容易であるが、データの不均衡に関係なく一貫した向上を示す。