[論文レビュー] Large Language Models Suffer From Their Own Output: An Analysis of the Self-Consuming Training Loop

Martin Briesch, Dominik Sobania+1 more|arXiv (Cornell University)|Nov 28, 2023

Topic Modeling被引用数 8

ひとこと要約

本論文は novelな論理式データセットを用いて自己消費型トレーニングループをLLMで経験的に分析し、正確性と多様性の初期利得を示すが、最終的には多様性が崩壊し、崩壊速度はデータ循環と合成データ比率に依存する。

ABSTRACT

Large Language Models (LLM) are already widely used to generate content for a variety of online platforms. As we are not able to safely distinguish LLM-generated content from human-produced content, LLM-generated content is used to train the next generation of LLMs, giving rise to a self-consuming training loop. From the image generation domain we know that such a self-consuming training loop reduces both quality and diversity of images finally ending in a model collapse. However, it is unclear whether this alarming effect can also be observed for LLMs. Therefore, we present the first study investigating the self-consuming training loop for LLMs. Further, we propose a novel method based on logic expressions that allows us to unambiguously verify the correctness of LLM-generated content, which is difficult for natural language text. We find that the self-consuming training loop produces correct outputs, however, the output declines in its diversity depending on the proportion of the used generated data. Fresh data can slow down this decline, but not stop it. Given these concerning results, we encourage researchers to study methods to negate this process.

研究の動機と目的

• LLMsが自らの出力で訓練される自己消費型トレーニングループの研究を動機づける。
• 生成物の正確性を厳密に検証できる論理式データセットを導入する。
• 異なるデータ循環デザインが世代ごとの正確性と多様性にどう影響するかを評価する。
• 将来のLLM訓練における自己生成データの安全な利用を導く指標と洞察を提供する。

提案手法

• GPT風モデル（nanoGPT）を用いて自己消費型トレーニングループを模擬する。
• 検証基準として10k個の真の論理式データセットを作成する。
• 最大50世代まで、4つのデータ循環デザイン（full synthetic、balanced、incremental、expanding）で訓練する。
• 世代ごとに10k個の式を自己回帰生成（temperature 0.8、式あたり最大200トークン）。
• 正確性を構文的有効性とブール評価で測定し、トークン化された式のLevenshtein多様性で多様性を測定する。
• 固定の訓練設定を採用：6層、6ヘッド、384次元、文脈長256、バッチ64、ドロップアウト0.2、5000反復、学習率1e-3から1e-4へ減衰、訓練/検証分割90/10。

実験結果

リサーチクエスチョン

• RQ1 自己消費型トレーニングは世代を重ねるにつれてLLM出力の意味的正確性を向上させるか。
• RQ2 データ循環の構成（full synthetic、balanced、incremental、expanding）は世代ごとの正確性と多様性にどう影響するか。
• RQ3 各世代に導入する合成データ量が出力の多様性に与える影響はどの程度か。
• RQ4 論理式データセットを用いてLLM生成出力を厳密に検証できるか。
• RQ5 自己消費型トレーニングループにおいて多様性が崩壊するポイントはあるか。

主な発見

• 世代を重ねるごとに正確性はデータ循環に応じて改善し、full synthetic循環での改善が他より速い。
• 多様性は初期には増加するが世代を重ねると減少する；full syntheticと多くの循環では最終的に多様性が単一点へ崩壊、expanding循環は崩壊速度が最も緩やか。
• incremental循環では合成データ比を増やすほど多様性の喪失が加速し、より大きなλは崩壊を速める；λ=0.1は崩壊をやや遅らせる。
• expandingデータ循環は第50世代まで多様性の低下を示さないが、介入なしには最終的に崩壊することを著者は予測している。
• 論理式検証アプローチは、従来の類似性指標を補完する、生成出力の証明可能な正確性チェックを提供する。