[논문 리뷰] SynSciPass: detecting appropriate uses of scientific text generation

Domenic Rosati|arXiv (Cornell University)|2022. 09. 07.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 과학적 글쓰기에서 사용된 텍스트 생성 도구의 유형(예: 번역, 압축, 전체 생성 등)을 식별하기 위한 합성 데이터셋인 SynSciPass를 소개한다. 이는 이분법적 인간 대 기계 분류에 의존하는 것과는 달리, 과학적 글쓰기에서의 AI 생성 텍스트 사용에 대한 더 정교한 접근을 제공한다. 이 데이터셋으로 훈련된 모델들은 도메인 이탈에 대한 강건성 향상과 적절한 사용과 부적절한 사용을 구분하는 데 성공하지만, 현재의 검출기는 현실적인 과학 출판 환경에서는 여전히 신뢰할 수 없다.

ABSTRACT

Approaches to machine generated text detection tend to focus on binary classification of human versus machine written text. In the scientific domain where publishers might use these models to examine manuscripts under submission, misclassification has the potential to cause harm to authors. Additionally, authors may appropriately use text generation models such as with the use of assistive technologies like translation tools. In this setting, a binary classification scheme might be used to flag appropriate uses of assistive text generation technology as simply machine generated which is a cause of concern. In our work, we simulate this scenario by presenting a state-of-the-art detector trained on the DAGPap22 with machine translated passages from Scielo and find that the model performs at random. Given this finding, we develop a framework for dataset development that provides a nuanced approach to detecting machine generated text by having labels for the type of technology used such as for translation or paraphrase resulting in the construction of SynSciPass. By training the same model that performed well on DAGPap22 on SynSciPass, we show that not only is the model more robust to domain shifts but also is able to uncover the type of technology used for machine generated text. Despite this, we conclude that current datasets are neither comprehensive nor realistic enough to understand how these models would perform in the wild where manuscript submissions can come from many unknown or novel distributions, how they would perform on scientific full-texts rather than small passages, and what might happen when there is a mix of appropriate and inappropriate uses of natural language generation.

연구 동기 및 목표

• 적절하게 생성된 과학적 텍스트가 AI로 작성된 것으로 잘못 분류되는 데서 비롯되는 해로움을 해결하기 위해.
• 번역이나 압축과 같은 텍스트 생성 도구의 유형을 식별하는 더 정교한 검출 프레임워크를 개발하기 위해.
• 다양한 과학 분야에서 발생하는 다양한 과학적 텍스트 생성 시나리오를 포괄하는 현실적이고 종합적인 데이터셋(SynSciPass)을 구축하기 위해.
• SynSciPass로 훈련된 모델이 새로운 분포로 일반화되는 데 더 잘 성능을 발휘하고, 도메인 유형을 효과적으로 감지할 수 있는지 평가하기 위해.
• 과학 출판에서 보조적 AI 사용을 고려한 윤리적이고 강건하며 해석 가능한 검출 시스템을 권장하기 위해.

제안 방법

• 번역, 압축, 새로운 생성을 포함한 텍스트 생성 도구의 계층적 분류 체계를 제안하며, 각 유형에 대한 레이블을 부여한다.
• 다양한 과학 분야에서 사전 훈련된 모델들로부터 합성 과학적 문장을 샘플링하여 SynSciPass를 구축한다.
• 도메인 이탈을 시뮬레이션하고 모델의 일반화 능력을 향상시키기 위해 데이터 증강 기법을 사용한다.
• DeBERTa v3와 같은 최신 모델을 SynSciPass로 미세조정하여 기계 생성 여부를 넘어서 사용된 특정 도구의 유형까지 감지하도록 한다.
• DAGPap22와 SynSciPass 양쪽에서 기준 모델(예: SciBERT, TF-IDF)을 훈련하고 평가하여 분포 이탈 상황에서의 성능을 비교한다.
• 검출 작업을 이분법적 분류에서 생성 유형에 대한 다중 분류로 재정의하여 공정한 편집 결정을 지원한다.

실험 결과

연구 질문

• RQ1 SynSciPass로 훈련된 모델은 번역, 압축, 생성과 같은 텍스트 생성 도구의 유형을 이분법적 검출보다 더 정확하게 감지할 수 있는가?
• RQ2 SynSciPass에서의 모델 성능은 도메인 이탈 상황에서 DAGPap22에서의 성능과 비교해 어떻게 다른가?
• RQ3 SynSciPass로 훈련하면 과학적 텍스트 생성에서 예측할 수 없는 분포에 대한 강건성이 얼마나 향상되는가?
• RQ4 검출 프레임워크는 과학적 원고에서 적절한 사용과 부적절한 사용을 구분할 수 있는가?
• RQ5 혼합 생성 콘텐츠를 포함한 현실적인 전체 과학 원고에 적용했을 때 현재의 검출기의 한계는 무엇인가?

주요 결과

• DAGPap22로 훈련된 DeBERTa v3 모델은 Scielo의 기계 번역된 문장에서 F1 점수가 31.4에 불과하여 현실 조건에서 무작위 성능을 보였다.
• SynSciPass에서는 동일한 모델이 사용된 생성 도구의 유형 감지에서 F1 점수가 98.6에 이르러 세분화된 분류에서 상당한 향상을 보였다.
• SynSciPass로 미세조정된 모델들은 DAGPap22로 훈련된 모델보다 도메인 이탈에 대한 강건성이 뛰어나게 나타났다.
• 개선된 성능에도 불구하고, 모델들은 여전히 새로운 분포나 전체 과학 원고에 대해 일반화하는 데서 성능이 떨어지며, 현재의 검출기는 아직 생산 환경에 적합하지 않음을 시사한다.
• TF-IDF와 SciBERT와 같은 기준 모델들은 SynSciPass에서 제한된 성능을 보였으며, 더 정교한 아키텍처의 필요성을 강조한다.
• 본 연구는 현재의 데이터셋과 검출기가 과학 출판에서의 안전한 배포를 뒷받침하기에 충분히 종합적이지도, 현실적이지도 않다고 결론내린다.