[論文レビュー] Textual Data Distributions: Kullback Leibler Textual Distributions Contrasts on GPT-2 Generated Texts, with Supervised, Unsupervised Learning on Vaccine & Market Topics & Sentiment

Jim Samuel, Ratnakar Palle+1 more|arXiv (Cornell University)|Jun 15, 2021

Topic Modeling被引用数 2

ひとこと要約

本稿では、トピックおよびセンチメントごとに機械学習で生成されたテキストと現実世界のテキストデータの分布の整合性を評価するための、Kullback-Leibler 情報量（KLD）に基づく新しい手法である KL-テキスト分布対比（KL-TDC）を提案する。ファインチューニングされた GPT-2 を用いたテキスト生成と、ワクチンおよび市場関連の Twitter データに対する教師あり・教師なし学習を実施した結果、KL-TDC は分布の類似性を効果的に定量化でき、NLP 分野の研究および応用分野における制御的・高忠実度の合成テキストデータ生成を可能にする。

ABSTRACT

Efficient textual data distributions (TDD) alignment and generation are open research problems in textual analytics and NLP. It is presently difficult to parsimoniously and methodologically confirm that two or more natural language datasets belong to similar distributions, and to identify the extent to which textual data possess alignment. This study focuses on addressing a segment of the broader problem described above by applying multiple supervised and unsupervised machine learning (ML) methods to explore the behavior of TDD by (i) topical alignment, and (ii) by sentiment alignment. Furthermore we use multiple text generation methods including fine-tuned GPT-2, to generate text by topic and by sentiment. Finally we develop a unique process driven variation of Kullback-Leibler divergence (KLD) application to TDD, named KL Textual Distributions Contrasts(KL-TDC) to identify the alignment of machine generated textual corpora with naturally occurring textual corpora. This study thus identifies a unique approach for generating and validating TDD by topic and sentiment, which can be used to help address sparse data problems and other research, practice and classroom situations in need of artificially generated topic or sentiment aligned textual data.

研究の動機と目的

• 機械学習で生成されたテキストが現実世界のテキストデータの分布（トピックおよびセンチメント）と整合しているかどうかを検証するという、未解決の課題に対処すること。
• 制御可能なトピックおよびセンチメント分布を持つ合成テキストデータを生成するための体系的な手法を開発すること。
• 実際のテキストと生成されたテキストの間の分布整合性を測る新しい指標、KL-テキスト分布対比（KL-TDC）を提案・評価すること。
• 本アプローチがデータ不足の問題に対処し、NLP 分野の研究、教育、行動ファイナンスの応用分野を支援する有効性を実証すること。

提案手法

• 指定されたトピック（ワクチン、市場）およびセンチメント（肯定的、否定的、ニュートラル）に一致するように、ファインチューニングされた GPT-2 を用いて合成テキストを生成する。
• 事前処理済みの Twitter データを用いて、教師ありおよび教師なし機械学習モデルを訓練し、トピックおよびセンチメントを分類する。
• 実際のコーパスと生成されたコーパスの間の単語またはトークン頻度の確率分布を比較するために、Kullback-Leibler 情報量（KLD）の修正形を適用する。
• KL-TDC 指標は、実際のテキストデータの分布と生成されたデータの分布の乖離を定量化し、整合性の検証スコアとして機能する。
• テキスト生成には3段階のアプローチを採用する：直接確率的モデリング、RNN/LSTM を用いた準構造的生成、GPT-2 を用いた構造的生成。
• 生成プロセスのガイドラインおよび評価に、事前に得られたトピックおよびセンチメント分布の知識を用いる。

実験結果

リサーチクエスチョン

• RQ1 GPT-2 は、現実世界の Twitter データのトピックおよびセンチメントの分布的特徴をどの程度再現して生成できるか？
• RQ2 提案された KL-TDC 指標は、実際のテキストデータと生成されたテキストデータの分布の整合性をどの程度正確に定量化できるか？
• RQ3 キーワードを含めた場合、教師ありおよび教師なし学習モデルは、訓練データの背後にあるトピックおよびセンチメント分布を正確に分類・反映できるか？
• RQ4 キーワードの有無が、分類および生成モデルの性能にどのように影響するか？
• RQ5 KL-TDC フレームワークは、ワクチンおよび市場の議論にとどまらず、他のトピックや言語的文脈にも一般化可能か？

主な発見

• KL-TDC 指標は、実際のテキストと生成されたテキストの間の分布整合性を成功裏に定量化し、合成データ品質の信頼性ある検証メカニズムを提供した。
• ファインチューニングされた GPT-2 が生成したテキストは、低 KL-TDC スコアによって確認されたように、トピックおよびセンチメントの両面で現実世界の分布と強く整合していた。
• キーワードを含めた場合、教師あり手法は教師なし手法よりも高い分類精度を達成しており、明示的な指導によるモデル性能の向上を示した。
• 教師なし手法は、ラベルなしデータでは微細な意味的パターンを特定する能力に限界があるため、トピックおよびセンチメント分布を中程度の精度で捉えていた。
• 本研究では、GPT-2 と KL-TDC を用いた制御的かつ分布整合性のあるテキスト生成が可能であることを確認した。これは、NLP 分野におけるデータ拡張のスケーラブルな解決策を提供する。
• 本フレームワークは、データが乏しい分野や教育的用途のための合成データ作成を支援し、大規模な現実世界のデータセットへの依存を軽減できる。