[論文レビュー] ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection

Yihao Fang, Xianzhi Li+2 more|arXiv (Cornell University)|Aug 25, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、オープンインテント検出におけるデータ拡張のための合成パラフレーズ生成にChatGPTを活用することで、構成的一般化を向上させる手法を提案する。BERTの微調整に3つの異なる戦略を用いてこれらの生成された発話文を統合することで、複数のベンチマークで未観測のインテント組み合わせに対する性能が顕著に向上し、特定のデータセットではF1-OODスコアが最大10.5%向上した。

ABSTRACT

Open intent detection, a crucial aspect of natural language understanding, involves the identification of previously unseen intents in user-generated text. Despite the progress made in this field, challenges persist in handling new combinations of language components, which is essential for compositional generalization. In this paper, we present a case study exploring the use of ChatGPT as a data augmentation technique to enhance compositional generalization in open intent detection tasks. We begin by discussing the limitations of existing benchmarks in evaluating this problem, highlighting the need for constructing datasets for addressing compositional generalization in open intent detection tasks. By incorporating synthetic data generated by ChatGPT into the training process, we demonstrate that our approach can effectively improve model performance. Rigorous evaluation of multiple benchmarks reveals that our method outperforms existing techniques and significantly enhances open intent detection capabilities. Our findings underscore the potential of large language models like ChatGPT for data augmentation in natural language understanding tasks.

研究の動機と目的

• 構成的一般化の課題に取り組むこと、特に言語的コンポonentの未観測組み合わせを認識できるモデルが必要とされる文脈において。
• オープンインテント検出タスクにおける構成的一般化の評価に用いられる既存ベンチマークの限界を特定すること。
• モデルの分布外インテント組み合わせに対するロバスト性を向上させるために、ChatGPTを用いたデータ拡張フレームワークを開発・評価すること。
• BERTベースの学習パイプラインへのGPT生成データの統合戦略を体系的に比較すること。

提案手法

• Rougeベースの類似度クラスタリングを用いて、既存のオープンインテント検出ベンチマークから構成的に多様なサブセットを構築し、重複するインスタンスを同定・削除する。
• ChatGPTを用いてトレーニング発話文のパラフレーズを生成し、意図は保持しつつ表層形を変化させた合成データを作成する。
• 生成されたパラフレーズを、エアリー・ファージョン、レイト・ファージョン、反復的再訓練の3つの異なる戦略を用いてBERT微調整に統合する。
• オープンセット分類のためのDA-ADBフレームワークを適用し、適応的決定境界と拡張されたトレーニングデータを組み合わせることで、OOD検出性能を向上させる。
• 検証精度に基づく早期停止を用いた反復的トレーニングを実施し、モデルの収束を最適化する。
• F1-macroスコアを用いて、インテントが分布内および分布外の両方のケースで複数のベンチマーク（Banking_CG, OOS_CG, StackOverflow_CG）で性能を評価する。

(a) Dataset construction

実験結果

リサーチクエスチョン

• RQ1 ChatGPTによって生成された合成データは、オープンインテント検出モデルの構成的一般化を向上させることができるか？
• RQ2 GPT生成データの統合戦略の違いが、未観測インテント組み合わせにおけるモデル性能にどのように影響を与えるか？
• RQ3 GPTのような大規模言語モデルを用いたデータ拡張は、複数のオープンインテント検出ベンチマークでF1-OODおよび正答率に顕著な向上をもたらすか？
• RQ4 本手法は、分布外サンプルに対するロバスト性という観点から、既存の最先端手法と比較して優れているか？

主な発見

• StackOverflow_CGベンチマークにおいて、トレーニングデータ比75%の条件下で、F1-OODスコアが10.5%の絶対的向上を達成し、ベースラインの69.96%から80.47%に上昇した。
• OOS_CGベンチマークでは、データ比25%の条件下でF1-OODが92.80%のピークを記録し、ベースラインの73.64%を著しく上回った。
• 最も優れた性能を示した戦略である「早期停止を伴う反復的再訓練」は、全ベンチマークおよび全データ比においてF1-Allと正答率を一貫して向上させた。
• 本手法は優れた一般化性能を示し、特定のデータセットでは元のトレーニングデータの50%を使用しても、F1-OODスコアが最大12.5ポイント上昇した。
• 構成的に多様なサブセットの使用により、低データ比でも一貫した性能向上が確認され、モデルのロバスト性が向上したことが裏付けられた。
• 結果から、LLMによって生成されたデータ拡張は、オープンワールドNLUタスクにおける構成的一般化の向上に実用的かつ効果的なアプローチであると確認された。

(b) ChatGPT data augmentation