[論文レビュー] SOGPTSpotter: Detecting ChatGPT-Generated Answers on Stack Overflow

Suyu Ma, Chunyang Chen+2 more|arXiv (Cornell University)|Feb 4, 2026

Expert finding and Q&A systems被引用数 0

ひとこと要約

tldr: SOGPTSpotter は Triplet loss を用いた BigBird ベースの Siamese ネットワークを利用して、ChatGPT が生成した Stack Overflow の回答を検出し、ベースラインを上回り、実世界のケーススタディで検証されました。

ABSTRACT

Stack Overflow is a popular Q&A platform where users ask technical questions and receive answers from a community of experts. Recently, there has been a significant increase in the number of answers generated by ChatGPT, which can lead to incorrect and unreliable information being posted on the site. While Stack Overflow has banned such AI-generated content, detecting whether a post is ChatGPT-generated remains a challenging task. We introduce a novel approach, SOGPTSpotter, that employs Siamese Neural Networks, leveraging the BigBird model and the Triplet loss, to detect ChatGPT-generated answers on Stack Overflow. We use triplets of human answers, reference answers, and ChatGPT answers. Our empirical evaluation reveals that our approach outperforms well-established baselines like GPTZero, DetectGPT, GLTR, BERT, RoBERTa, and GPT-2 in identifying ChatGPT-synthesized Stack Overflow responses. We also conducted an ablation study to show the effectiveness of our model. Additional experiments were conducted to assess various factors, including the impact of text length, the model's robustness against adversarial attacks, and its generalization capabilities across different domains and large language models. We also conducted a real-world case study on Stack Overflow. Using our tool's recommendations, Stack Overflow moderators were able to identify and take down ChatGPT-suspected generated answers, demonstrating the practical applicability and effectiveness of our approach.

研究の動機と目的

• Stack Overflow の品質と信頼性を AI 生成コンテンツの中で確保する必要性を動機づける。
• 人間と AI の回答を区別するために、Q&A 構造と長文処理を活用した検出手法を開発する。
• トレーニングのための高品質な Stack Overflow の質問/回答と ChatGPT 生成のリファレンスを含む多様なデータセットを作成する。
• ベースラインと比較して評価し、頑健性・一般化・実世界での適用性を評価する。

提案手法

• SOGPTSpotter を提案する。BigBird ベースの Siamese ネットワークを triplet loss で訓練し、triplet（リファレンス、人間、ChatGPT）の回答を用いる。
• 長い Stack Overflow の回答を BigBird によって効率的に表現し、長い系列を扱えるようにする。
• リファレンス回答と入力回答の埋め込み間のコサイン類似度を用い、0.5 の閾値で ChatGPT 生成か人間生成かを分類する。
• 高評価・高アップボートの質問と受諾回答を含む Stack Overflow の triplet 6000 点データセットを作成し、ChatGPT リファレンスと ChatGPT 生成回答を追加する。
• 非人間的特徴を用いたリファレンス回答を prompts で生成し、AI 的特徴を捉える。多様な prompts と長さを用いた ChatGPT 答案を生成する。
• アブレーション研究、長さ変化分析、敵対的ロバスト性検証、分野間/LLM 一般化評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: SOGPTSpotter はベースラインおよびアブレーション研究でどの程度の性能を示すか？
• RQ2 RQ2: 入力テキスト長が検出性能にどのように影響するか？
• RQ3 RQ3: SOGPTSpotter は敵対的攻撃に対してどれだけ頑健か？
• RQ4 RQ4: SOGPTSpotter はドメイン間・異なる LLM でどの程度一般化するか？
• RQ5 RQ5: 実世界の Stack Overflow 環境での有効性はどの程度か？

主な発見

• SOGPTSpotter はベースライン（GPTZero、DetectGPT、GLTR、BERT、RoBERTa、GPT-2）に対して、精度、F1 スコア、適合率で上回る。
• モデルの精度は 97.67% に達する。
• アブレーション分析、テキスト長さの影響評価、敵対的な頑健性テスト、分野間/LLM 一般化実験を含む。
• 実世界の Stack Overflow のケーススタディで、モデレーターは SOGPTSpotter によって ChatGPT 生成の可能性が高いとマークされた投稿を 47 件削除した。
• データセットは Stack Overflow の triplet（リファレンス、人間、ChatGPT） 6000 件で構成され、標準的な指標（正解率、適合率、再現率、F1）で評価される。
• 本手法はコサイン距離を用いた triplet loss を活用し、リファレンス AI 回答に対して AI 生成コンテンツを識別することを学習する。