[論文レビュー] Towards Automatic Boundary Detection for Human-AI Collaborative Hybrid Essay in Education

Zijie Zeng, Lele Sha+4 more|arXiv (Cornell University)|Jul 23, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、人間とAIが共同で作成するハイブリッドエッセイにおける自動境界検出のための二段階手法であるTriBERTを提案する。この手法では、文の埋め込みをクラスタリングし、隣接するプロトタイプ間の最大不一致を検出することで、人間が書いた部分とAI生成部分の遷移を特定する。単一境界テキストにおいて大きなプロトタイプサイズを使用した場合、ドメイン内評価でベースラインの最高性能比で最大22%の向上、ドメイン外評価で18%の向上を達成した。

ABSTRACT

The recent large language models (LLMs), e.g., ChatGPT, have been able to generate human-like and fluent responses when provided with specific instructions. While admitting the convenience brought by technological advancement, educators also have concerns that students might leverage LLMs to complete their writing assignments and pass them off as their original work. Although many AI content detection studies have been conducted as a result of such concerns, most of these prior studies modeled AI content detection as a classification problem, assuming that a text is either entirely human-written or entirely AI-generated. In this study, we investigated AI content detection in a rarely explored yet realistic setting where the text to be detected is collaboratively written by human and generative LLMs (i.e., hybrid text). We first formalized the detection task as identifying the transition points between human-written content and AI-generated content from a given hybrid text (boundary detection). Then we proposed a two-step approach where we (1) separated AI-generated content from human-written content during the encoder training process; and (2) calculated the distances between every two adjacent prototypes and assumed that the boundaries exist between the two adjacent prototypes that have the furthest distance from each other. Through extensive experiments, we observed the following main findings: (1) the proposed approach consistently outperformed the baseline methods across different experiment settings; (2) the encoder training process can significantly boost the performance of the proposed approach; (3) when detecting boundaries for single-boundary hybrid essays, the proposed approach could be enhanced by adopting a relatively large prototype size, leading to a 22% improvement in the In-Domain evaluation and an 18% improvement in the Out-of-Domain evaluation.

研究の動機と目的

• 人間と大規模言語モデル（LLM）が共同で作成するハイブリッドテキストにおけるAIコンテンツ検出のギャップを埋めるため、テキストが完全に人間またはAI生成であると仮定するのではなく、協働的作成の文脈を考慮する。
• AIコンテンツ検出の問題を境界検出として形式化する——ハイブリッドエッセイにおける人間が書いた部分とAI生成部分の遷移点を特定すること。
• 教育者が懸念すべき部分を特定し、フィードバックや再編集の対象とできるよう、AI生成コンテンツの正確な局所化を可能にする手法を開発する。
• プロトタイプサイズと境界数が検出性能に与える影響を調査し、実世界での導入に役立つ実用的ガイダンスを提供する。

提案手法

• 本手法は、元の学生エッセイからランダムに文を削除し、ChatGPTを用いてAI生成コンテンツに置き換えることでハイブリッドエッセイデータセットを構築する。
• 二段階のアプローチを提案する：まず、対照的学習を活用して、トレーニング中にAI生成コンテンツと人間が書いたコンテンツを分離するようにTriBERTエンコーダーをファインチューニングする。
• ハイブリッドテキスト内の文は、連続する文のシーケンスに基づいてプロトタイプにグループ化され、各プロトタイプはその構成文の平均埋め込みとして表現される。
• 埋め込み空間における隣接するプロトタイプ間の距離を計算し、最大の不一致を示すプロトタイプペアを境界として特定する。
• プロトタイプサイズは境界数に応じて動的に調整される：境界が少ない（例：1つの境界）テキストでは大きなサイズが最適であり、複数の境界を含むテキストでは小さなサイズがより効果的である。
• 本手法はドメイン内およびドメイン外の両設定で評価され、ファインチューニングされたBERTおよび商用検出器（GPTZero）と比較される。

実験結果

リサーチクエスチョン

• RQ1 テキスト全体を人間またはAI生成と分類するのではなく、ハイブリッドエッセイにおける人間が書いた部分とAI生成部分の正確な境界を検出する方法は何か？
• RQ2 境界数が変化する状況において、プロトタイプサイズが境界検出性能に与える影響は何か？
• RQ3 ファインチューニングされたBERTやGPTZeroなどの商用検出器を含む既存のベースラインと比較して、本手法はドメイン内およびドメイン外設定でどの程度優れているか？
• RQ4 エンコーダー学習中にAIと人間のコンテンツを分離するトレーニングプロセスが、検出性能の向上に顕著な効果をもたらすか？
• RQ5 どのような条件下で、大きなプロトタイプサイズの使用がハイブリッドテキストにおける境界検出に有益となるか？

主な発見

• 提案されたTriBERT手法は、すべての実験設定において、ファインチューニングされたBERTや商用のGPTZero検出器といったベースライン手法を一貫して上回った。
• AIと人間のコンテンツをファインチューニング中に分離するエンコーダー学習プロセスが、検出性能を顕著に向上させた。これは表現学習の重要性を示している。
• 単一境界ハイブリッドエッセイでは、より大きなプロトタイプサイズ（p=4）を用いることで、ドメイン内評価でベースライン最高性能比で22%の向上、ドメイン外評価で18%の向上を達成した。
• 境界数が増加した場合（例：複数の遷移）、より小さなプロトタイプサイズが有効であった。これは、ハイブリッドテキストの複雑さに応じてプロトタイプサイズを適応させる必要があることを示唆している。
• 商用検出器（例：GPTZero）が失敗した遷移点を、本手法は正しく特定できた。たとえ全体のテキストが低信頼度（例：人間が51%）で分類されていたとしても同様であった。
• 結果から、TriBERTは教育者が学生エッセイにおけるAI生成コンテンツを検出し、局所化するための信頼できる補助ツールとして機能できることを示している。これにより、的確なフィードバックや再編集が可能になる。