[論文レビュー] MAGA-Bench: Machine-Augment-Generated Text via Alignment Detection Benchmark

Anyang Song, Ying Cheng+2 more|arXiv (Cornell University)|Jan 8, 2026

Topic Modeling被引用数 0

ひとこと要約

MAGA-Bench は、人間が書いたテキスト（HWT）と強く一致する機械生成テキスト（MGT）を生成するためのデータセットと整合性ベースの拡張パイプラインを提案し、検出器の一般化を тест・向上させることを目的としています。整合性が検出器を劣化させること、MAGA でファインチューニングすると一般化が向上することを示しています。

ABSTRACT

Large Language Models (LLMs) alignment is constantly evolving. Machine-Generated Text (MGT) is becoming increasingly difficult to distinguish from Human-Written Text (HWT). This has exacerbated abuse issues such as fake news and online fraud. Fine-tuned detectors' generalization ability is highly dependent on dataset quality, and simply expanding the sources of MGT is insufficient. Further augment of generation process is required. According to HC-Var's theory, enhancing the alignment of generated text can not only facilitate attacks on existing detectors to test their robustness, but also help improve the generalization ability of detectors fine-tuned on it. Therefore, we propose \textbf{M}achine-\textbf{A}ugment-\textbf{G}enerated Text via \textbf{A}lignment (MAGA). MAGA's pipeline achieves comprehensive alignment from prompt construction to reasoning process, among which \textbf{R}einforced \textbf{L}earning from \textbf{D}etectors \textbf{F}eedback (RLDF), systematically proposed by us, serves as a key component. In our experiments, the RoBERTa detector fine-tuned on MAGA training set achieved an average improvement of 4.60\% in generalization detection AUC. MAGA Dataset caused an average decrease of 8.13\% in the AUC of the selected detectors, expecting to provide indicative significance for future research on the generalization detection ability of detectors.

研究の動機と目的

• 機械生成テキスト（MGT）を人間が書いたテキスト（HWT）との整合性を高めることで現実性と多様性を向上させ、堅牢な検出を動機づける。
• MAGA を構築する：大規模、マルチドメイン、マルチジェネレータの MGT/HWT データセットと整合性拡張。
• 検出器のフィードバックから学習する強化学習ベースの検出器更新（RLDF）を提案し、検出器と生成品質を反復的に改善する。
• 複数の検出器と外部データセットを横断して、検出性能と検出器の一般化への MAGA の影響を評価する。

提案手法

• 10ドメインから72k件のHWTテキストをサンプリングし、12ジェネレータを用いて一致するMGTを生成する。
• 4つの整合性手法（ロールプレイ、BPO、自己改良、RLDF-CMD）を適用して prompts と MGT の整合性を拡張する。
• 検出器のフィードバックでファインチューニングするRLDF（および RLDF-CD / RLDF-CM）を開発し、検出器の一般化を強化する。
• 整合性を強化しないMGBベースラインと比較して、整合性の影響を定量化する。
• 複数の検出器（ニューラルベースおよびメトリックベース）を含め、AUC、ACC、ACC@FPR=5%で評価する。
• 再現性のために MAGA データセット（936k エントリ）とコード/モデルを公開する。

実験結果

リサーチクエスチョン

• RQ1 整合性拡張は、検出器ごとに機械生成テキストの検出難易度にどのような影響を与えるのか？
• RQ2 RL ベースの拡張（RLDF）は、MAGA で訓練すると検出器の一般化を改善できるのか？
• RQ3 MAGA は、複数ドメイン・複数ジェネレータ間での一般化を、未強化ベースライン（MGB）より検出器においてどの程度悪化させるのか？
• RQ4 多ドメイン・多ジェネレータの整合性は、外部検出ベンチマークへどれくらい一般化されるのか？

主な発見

• 整合性拡張は検出器のAIテキスト判定を著しく劣化させ（TPR・AUCの低下）、HWT検出は相対的に安定している。
• MAGAでファインチューニングされた RoBERTa は、外部データセットでベースラインと比較して一般化の顕著な向上を示す。
• MAGA はベースラインおよび複数のニューラル検出器よりも一般化で優れ、検出器の堅牢性に対する整合性意識データの価値を示している。
• RLDF、ロールプレイ、自己改良は核となる有効な整合性手法であり、BPO はプロンプトの多様性を提供するが影響は小さい。
• MAGA は二重用途を可能にする：検出器の堅牢性を検証し、検出器の一般化を改善する実用的な経路を提供する。