[논문 리뷰] Fooling MOSS Detection with Pretrained Language Models

Stella Biderman, Edward Raff|arXiv (Cornell University)|2022. 01. 19.

Artificial Intelligence in Healthcare and Education인용 수 8

한 줄 요약

이 논문은 GPT-J, 대규모 언어 모델이 피드백 없이 또는 예시 입력 없이도 MOSS라는 널리 사용되는 표절 탐지 도구를 회피할 수 있음을 입증한다. 생성된 코드는 MOSS 유사도 점수에서 인간이 작성한 코드와 구분되지 않으며, 구조적으로 다양하다. 이는 현재의 표절 방지 시스템이 코드 유사도 분석 기반으로서 심각한 취약성을 지닌다는 것을 드러낸다.

ABSTRACT

As artificial intelligence (AI) technologies become increasingly powerful and prominent in society, their misuse is a growing concern. In educational settings, AI technologies could be used by students to cheat on assignments and exams. In this paper we explore whether transformers can be used to solve introductory level programming assignments while bypassing commonly used AI tools to detect similarities between pieces of software. We find that a student using GPT-J [Wang and Komatsuzaki, 2021] can complete introductory level programming assignments without triggering suspicion from MOSS [Aiken, 2000], a widely used software similarity and plagiarism detection tool. This holds despite the fact that GPT-J was not trained on the problems in question and is not provided with any examples to work from. We further find that the code written by GPT-J is diverse in structure, lacking any particular tells that future plagiarism detection techniques may use to try to identify algorithmically generated code. We conclude with a discussion of the ethical and educational implications of large language models and directions for future research.

연구 동기 및 목표

• 대규모 언어 모델이 표준 표절 탐지 도구인 MOSS를 회피할 수 있는 프로그래밍 솔루션을 생성할 수 있는지 조사한다.
• GPT-J를 사용하여 피드백 없이나 예시 없이도 소개 수준의 프로그래밍 과제를 완료할 수 있는지 가능성 평가한다.
• 인간이 작성한 코드와 비교해 AI가 생성한 코드의 구조적 다양성과 탐지 가능성 평가한다.
• 이러한 능력이 학술 정직성, 커리큘럼 설계 및 향후 탐지 시스템에 미치는 영향을 검토한다.
• 교육 현장에서 AI가 생성한 콘텐츠가 초래하는 윤리적 및 실용적 과제를 탐색한다.

제안 방법

• 연구는 공개된 데이터셋의 소개 수준 프로그래밍 과제를 위해 GPT-J를 사용하여 코드 솔루션을 생성한다. 이 모델은 공개된 지침에 맞춰 튜닝된 언어 모델이다.
• 솔루션은 피드백 없이, 즉 파인튜닝이나 예시 제시 없이 제로샷 프롬프팅을 통해 생성된다.
• MOSS를 사용해 GPT-J가 생성한 코드와 원본 인간이 작성한 솔루션 간의 유사도 점수를 계산한다.
• 모델의 출력은 구조적 다양성, 문법적 다양성, 알려진 인간이 작성한 패턴과의 유사성 측면에서 분석된다.
• 원본 솔루션, 인간이 표절한 버전(N 수준), 그리고 AI가 생성한 코드 간의 MOSS 점수를 비교한다.
• 인간의 편집 필요성과 다양한 프롬프트 조건 하에서 탐지 시스템의 강건성 평가한다.

Figure 1 . A breakdown of MOSS scores for completions of exercises from Karnalim et al . ( 2019 ) by how they were generated. “Original” denotes the original solutions, “LN” denotes Level N plagiarism, “non” denotes non-plagiarisms, and “AI” denotes solutions written by GPT-J.

실험 결과

연구 질문

• RQ1 GPT-J는 피드백 없이나 예시 입력 없이도 널리 사용되는 표절 탐지 도구인 MOSS에 의해 탐지되지 않는 프로그래밍 솔루션을 생성할 수 있는가?
• RQ2 GPT-J가 생성한 코드의 구조적 다양성은 인간이 작성한 코드와 비교해 어떻게 다른가? 이는 탐지 가능성을 낮출 수 있는가?
• RQ3 어느 정도까지 AI가 생성한 코드는 코드 유사도 기반 탐지 도구인 MOSS를 우회할 수 있는가?
• RQ4 이러한 우회 능력이 컴퓨터 과학 교육 분야의 학술 정직성과 커리큘럼 설계에 어떤 영향을 미치는가?
• RQ5 다양한 코드를 생성할 수 있는 현대의 언어 모델에도 불구하고, 알고리즘적으로 생성된 코드를 식별할 수 있도록 향후 탐지 시스템은 어떻게 재설계되어야 하는가?

주요 결과

• GPT-J는 피드백 없이도 MOSS가 유사도 경고를 발생시키지 않는 소개 수준의 프로그래밍 과제 솔루션을 성공적으로 생성했다. 이는 원본 인간 솔루션과 비교해도 마찬가지였다.
• 모델는 일관된 패tern이나 '단서'가 없는 구조적으로 다양한 코드를 생성했으며, 향후 탐지 시스템이 악용할 수 있는 요소가 없었다.
• 최소한의 인간 편집만으로도 과제에서 만점이 가능한 솔루션을 생성할 수 있었으며, 이는 학술 부정행위에 높은 사용성을 보여준다.
• 결과적으로 MOSS 기반 탐지 도구는 현대 언어 모델이 특정 과제 데이터에 대해 훈련되지 않았더라도 여전히 우회 가능하다는 점을 시사한다.
• 검토 및 훈련 데이터와의 비교를 통해 GPT-J가 생성한 코드는 기억된 것이 아니라 진정으로 새로운 것임을 확인했다.
• 이러한 발견은 현재의 표절 방지 시스템에 심각한 격차가 있음을 드러내며, 워터마킹이나 행동 분석과 같은 새로운 탐지 전략의 필요성을 제기한다.

(a) Isomap with $n=10$ neighbors