[논문 리뷰] GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education

Mike Perkins, Jasper Roe외 5명|arXiv (Cornell University)|2024. 03. 28.

Big Data and Digital Economy인용 수 8

한 줄 요약

이 논문은 조작된 기계 생성 텍스트(n=805)에 대해 여섯 가지 GenAI 감지기를 평가하고, 정확도가 낮고 회피 기법이 사용될수록 더 떨어진다는 것을 발견하며, 학술적 정직성을 위한 이러한 도구의 사용에 신중을 권고한다는 결론을 제시한다.

ABSTRACT

This study investigates the efficacy of six major Generative AI (GenAI) text detectors when confronted with machine-generated content that has been modified using techniques designed to evade detection by these tools (n=805). The results demonstrate that the detectors' already low accuracy rates (39.5%) show major reductions in accuracy (17.4%) when faced with manipulated content, with some techniques proving more effective than others in evading detection. The accuracy limitations and the potential for false accusations demonstrate that these tools cannot currently be recommended for determining whether violations of academic integrity have occurred, underscoring the challenges educators face in maintaining inclusive and fair assessment practices. However, they may have a role in supporting student learning and maintaining academic integrity when used in a non-punitive manner. These results underscore the need for a combined approach to addressing the challenges posed by GenAI in academia to promote the responsible and equitable use of these emerging technologies. The study concludes that the current limitations of AI text detectors require a critical approach for any possible implementation in HE and highlight possible alternatives to AI assessment strategies.

연구 동기 및 목표

• 기계생성 콘텐츠에 대한 여섯 가지 주요 GenAI 텍스트 감지기의 효과를 평가한다.
• 탐지를 회피하도록 설계된 적대적 수정의 영향을 조사한다.
• 고등교육에서 공정하고 포용적인 평가 관행에 대한 시사점을 평가한다.
• 교육에서 감지기의 적절한 역할과 비징벌적 사용 가능성을 논의한다.

제안 방법

• 기계생성 콘텐츠 코퍼스(n=805)에 대해 여섯 가지 GenAI 감지기를 테스트한다.
• 탐지기 정확도를 낮추기 위한 회피/적대적 수정 기법을 적용한다.
• 콘텐츠 조작 전후의 탐지기 정확도를 정량적으로 측정하고 변화량을 보고한다.
• 탐지기를 우회하는 데 가장 효과적인 회피 기법을 분석한다.
• 포용성을 지원하기 위한 탐지 외의 교육자의 책임과 잠재적 전략을 논의한다.

실험 결과

연구 질문

• RQ1 수정되지 않은 기계 생성 콘텐츠에서 여섯 가지 주요 GenAI 감지기는 얼마나 정확합니까?
• RQ2 적대적 수정이 탐지기 정확도에 어떤 영향을 줍니까?
• RQ3 고등교육(HE)에서 공정하고 포용적인 평가에 대한 탐지기 성능의 시사점은 무엇입니까?
• RQ4 학생들을 불공정하게 처벌하지 않으면서도 무결성을 지원할 수 있는 AI 평가의 대안이나 보완적 접근법은 무엇입니까?

주요 결과

• 탐지기 정확도는 초기에는 낮다(39.5%).
• 정확도는 콘텐츠가 적대적으로 조작되면 17.4%로 크게 감소한다.
• 일부 회피 기법은 다른 기법들보다 탐지를 피하는 데 더 효과적임이 입증된다.
• 감지기를 학술적 정직성 위반 판단에 의존해서는 안 된다.
• 감지기는 비징벌적으로 사용될 때 학생 학습을 돕고 무결성을 유지하는 데 역할이 있을 수 있다.
• GenAI 도전에 대처하고 고등교육에서 책임 있고 공정한 사용을 촉진하기 위해서는 결합적이고 비판적인 접근이 필요하다.