[논문 리뷰] OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with Adversarially Generated Examples

Ryuto Koike, Masahiro Kaneko외 1명|arXiv (Cornell University)|2023. 07. 21.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

OUTFOX는 문맥 내 학습을 통해 탐지기와 공격자 간의 상호작용을 반복적으로 활용함으로써 LLM 생성 에세이 탐지의 강건성을 향상시키는 새로운 적대적 훈련 프레임워크를 제안한다. 탐지기는 공격자에 의해 생성된 텍스트에서 F1 점수를 최대 +41.3 향상시키며, 공격을 받지 않은 텍스트에서는 상태최저 성능인 96.9 F1 점수를 달성한다. 반면 공격자는 기존 탐지기의 성능을 최대 -57.0 F1 점수까지 떨어뜨리며, 기준 파araphrasing 방법들을 능가한다.

ABSTRACT

Large Language Models (LLMs) have achieved human-level fluency in text generation, making it difficult to distinguish between human-written and LLM-generated texts. This poses a growing risk of misuse of LLMs and demands the development of detectors to identify LLM-generated texts. However, existing detectors lack robustness against attacks: they degrade detection accuracy by simply paraphrasing LLM-generated texts. Furthermore, a malicious user might attempt to deliberately evade the detectors based on detection results, but this has not been assumed in previous studies. In this paper, we propose OUTFOX, a framework that improves the robustness of LLM-generated-text detectors by allowing both the detector and the attacker to consider each other's output. In this framework, the attacker uses the detector's prediction labels as examples for in-context learning and adversarially generates essays that are harder to detect, while the detector uses the adversarially generated essays as examples for in-context learning to learn to detect essays from a strong attacker. Experiments in the domain of student essays show that the proposed detector improves the detection performance on the attacker-generated texts by up to +41.3 points F1-score. Furthermore, the proposed detector shows a state-of-the-art detection performance: up to 96.9 points F1-score, beating existing detectors on non-attacked texts. Finally, the proposed attacker drastically degrades the performance of detectors by up to -57.0 points F1-score, massively outperforming the baseline paraphrasing method for evading detection.

연구 동기 및 목표

• 단순한 공격 방식(예: 어색한 어휘 변형)에 취약한 기존 LLM 생성 텍스트 탐지기의 강건성 부족 문제를 해결하기 위해.
• 악성 사용자가 탐지기 피드백을 악용해 회피하는 현실적인 공격 시나리오를 시뮬레이션하기 위해.
• 강력한 공격 조건 하에서도 탐지 성능을 향상시키기 위해 적대적으로 생성된 텍스트에서 학습하는 탐지기를 개발하기 위해.
• 학생 에세이 작성이라는 현실적인 교육 분야에서 제안된 프레임워크의 효과성을 평가하기 위해.
• 향후 LLM 생성 텍스트 탐지 연구를 위한 재현 가능한 데이터셋과 코드를 공개하기 위해.

제안 방법

• 탐지기는 인간이 작성한 텍스트와 LLM 생성 텍스트를 포함한 에세이 트레이닝 세트에 대해 레이블을 예측한다.
• 공격자는 이러한 탐지기 예측 레이블을 문맥 내 예시로 활용하여 탐지하기 어려운 적대적 에세이를 생성한다.
• 탐지기는 다시 적대적으로 생성된 에세이를 문맥 내 예시로 사용하여 강력한 공격자 출력에 대한 탐지 성능을 향상시킨다.
• 문맥 내 학습이 전반적으로 적용된다: 공격자는 탐지기 레이블을 예시로 활용하고, 탐지기는 적대적 예시를 소수의 프롬프트로 사용한다.
• 프레임워크는 원어민 학생 작성자로부터 확보한 15,400개의 에세이 트리플릿(문제, 인간 작성, LLM 생성)으로 구성된 고유 데이터셋에서 훈련 및 평가된다.
• 어휘 유사도는 BERT 임베딩과 코사인 유사도를 사용하여 공격자에 의해 생성된 에세이가 인간이 작성한 텍스트와 얼마나 어휘적으로 유사한지 분석한다.

실험 결과

연구 질문

• RQ1 문맥 내 학습을 통해 적대적으로 생성된 텍스트로 훈련된 탐지기가 강력한 공격자에 대해 더 높은 강건성을 달성할 수 있는가?
• RQ2 탐지기 훈련 과정에서 적대적 예시를 통합할 경우, 공격을 받지 않은 자연스러운 LLM 생성 텍스트에서의 성능이 떨어지는가?
• RQ3 공격자에 의해 생성된 에세이의 의미적 유사도는 인간이 작성한 에세이와 공격을 받지 않은 LLM 생성 에세이에 비해 어떻게 다른가?
• RQ4 제안된 공격자가 기준 파라프레이징 방법들에 비해 탐지 회피 성능에서 얼마나 뛰어나게 성능을 높이는가?
• RQ5 문맥 내 학습을 통해 LLM이 파rameter 업데이트 없이 LLM 생성 텍스트를 탐지할 수 있는가?

주요 결과

• OUTFOX 탐지기는 적대적으로 생성된 텍스트에서 기존의 적대적 예시에 노출되지 않은 탐지기 대비 최대 +41.3 F1 점수 향상률을 기록한다.
• OUTFOX 탐지기는 공격을 받지 않은 LLM 생성 에세이에서 상태최저 성능인 96.9 F1 점수를 달성하며, 기존 탐지기들을 능가한다.
• 제안된 공격자는 기존 탐지기의 성능을 최대 -57.0 F1 점수까지 떨어뜨리며, 기준 파라프레이징 공격 방법들을 크게 능가한다.
• 공격자에 의해 생성된 에세이들은 공격을 받지 않은 LLM 생성 에세이보다 인간이 작성한 에세이에 더 의미적으로 가까운 것으로 나타났으며, 코사인 유사도 분포에서 오른쪽 이동이 관찰되었다.
• 탐지기는 인간이 작성한 에세이에 대해 높은 재현율(98.8)을 유지하여 과다 탐지가 거의 발생하지 않음을 시사한다. 이는 인간 피드백을 토대로 튜닝된 LLM으로 훈련되었기 때문일 것이다.
• 파라프레이징 기반인 DIPPER 공격은 일부 모델(예: RoBERTa-large)에서는 탐지 성능을 향상시키며, 비차별적 공격의 한계를 드러낸다.