[論文レビュー] Using GPT-2 to Create Synthetic Data to Improve the Prediction Performance of NLP Machine Learning Classification Models

Dewayne Whitfield|arXiv (Cornell University)|Apr 2, 2021

Oil and Gas Production Techniques被引用数 8

ひとこと要約

この論文では、自然言語処理（NLP）のテキスト分類モデルの性能向上を目的として、微調整されたGPT-2を用いて合成テキストデータを生成する手法を提案している。YelpのピザレビューのデータセットでGPT-2を微調整し、合成レビューを実際のデータと組み合わせることで、実データのみで訓練されたベースラインモデルと比較して、モデルの正確性と精度が顕著に向上することを実証した。

ABSTRACT

Classification Models use input data to predict the likelihood that the subsequent input data will fall into predetermined categories. To perform effective classifications, these models require large datasets for training. It is becoming common practice to utilize synthetic data to boost the performance of Machine Learning Models. It is reported that Shell is using synthetic data to build models to detect problems that rarely occur; for example Shell created synthetic data to help models to identify deteriorating oil lines. It is common practice for Machine Learning Practitioners to generate synthetic data by rotating, flipping, and cropping images to increase the volume of image data to train Convolutional Neural Networks. The purpose of this paper is to explore creating and utilizing synthetic NLP data to improve the performance of Natural Language Processing Machine Learning Classification Models. In this paper I used a Yelp pizza restaurant reviews dataset and transfer learning to fine-tune a pre-trained GPT-2 Transformer Model to generate synthetic pizza reviews data. I then combined this synthetic data with the original genuine data to create a new joint dataset. The new combined model significantly outperformed the original model in accuracy and precision.

研究の動機と目的

• GPT-2で生成された合成テキストデータが、NLP分類モデルの性能を向上させることを調査すること。
• 低リソースまたは不均衡なNLP分類シナリオにおける、合成データ拡張の有効性を評価すること。
• 転移学習を用いたGPT-2で、多様で現実的である合成テキストを生成する実用的な手法を示すこと。
• テキスト分類タスクにおいて、実データのみと実・合成データの組み合わせを用いたモデルの性能を比較すること。

提案手法

• ドメイン固有の合成レビューを生成できるように、事前学習済みのGPT-2言語モデルを実際のYelpピザレビューのデータセットで微調整する。
• 微調整済みのGPT-2モデルを用いて、大量の人間らしい合成レビューを生成し、データ拡張に活用する。
• 合成レビューを元の実際のレビューと組み合わせ、統合された学習データセットを構築する。
• 標準的なNLPトレーニング手順に従い、統合された実・合成データセットで下流のテキスト分類モデルを再訓練する。
• 保持されたテストセット上で、正確性や精度などの標準指標を用いてモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 GPT-2で生成された合成テキストデータは、NLP分類モデルの予測性能を向上させることができるか？
• RQ2 実データと合成データの両方で訓練されたモデルの性能は、実データのみで訓練されたモデルと比べてどのように異なるか？
• RQ3 GPT-2で生成されたテキストによるデータ拡張は、モデルの一般化性能および耐性にどの程度寄与するか？
• RQ4 合成データは、テキスト分類タスクにおける正確性と再現率にどのような影響を与えるか？

主な発見

• 実データと合成データの両方を用いて訓練されたモデルは、実データのみで訓練されたベースラインモデルと比較して、顕著に高い正確性を達成した。
• 統合モデルは、テストセット上で分類の信頼性が向上したことを示す、より良い精度を示した。
• 合成データは、ノイズや分布シフトを引き起こさずに、トレーニング例の多様性と量を効果的に増加させた。
• 結果から、GPT-2は、下流のモデル性能を向上させるために、妥当でタスク関連のテキストを生成できることを示唆している。