[논문 리뷰] Implementing BERT and fine-tuned RobertA to detect AI generated news by ChatGPT

Zecong Wang, J. Cheng외 2명|arXiv (Cornell University)|2023. 06. 09.

Misinformation and Its Impacts인용 수 7

한 줄 요약

이 연구는 ChatGPT가 생성한 AI 기반 뉴스 콘텐츠를 탐지하기 위해 미세튜닝된 RoBERTa 모델과 BERT를 결합한 방법을 제안한다. 합성 뉴스와 실제 뉴스로 구성된 데이터셋을 사용하여, 이 접근 방식은 98%의 정확도를 달성하였으며, 이는 미세튜닝된 RoBERTa가 표준 BERT보다 AI 기반 오락성 정보 탐지에 있어 뚜렷한 우월성을 보임을 보여준다. 사회관계망 서비스에서의 AI 기반 오락성 정보 탐지에 있어 효과적이다.

ABSTRACT

The abundance of information on social media has increased the necessity of accurate real-time rumour detection. Manual techniques of identifying and verifying fake news generated by AI tools are impracticable and time-consuming given the enormous volume of information generated every day. This has sparked an increase in interest in creating automated systems to find fake news on the Internet. The studies in this research demonstrate that the BERT and RobertA models with fine-tuning had the best success in detecting AI generated news. With a score of 98%, tweaked RobertA in particular showed excellent precision. In conclusion, this study has shown that neural networks can be used to identify bogus news AI generation news created by ChatGPT. The RobertA and BERT models' excellent performance indicates that these models can play a critical role in the fight against misinformation.

연구 동기 및 목표

• 소셜 미디어 플랫폼에서 증가하는 AI 기반 오락성 정보의 문제를 다루기 위해.
• ChatGPT와 같은 대규모 언어 모델이 생성한 가짜 뉴스를 자동으로, 확장 가능하게 탐지할 수 있는 솔루션을 개발하기 위해.
• BERT와 RoBERTa 모델이 AI 기반 뉴스 콘텐츠와 인간이 작성한 뉴스 콘텐츠를 구분하는 데 성능을 평가하기 위해.
• RoBERTa를 미세튜닝함으로써 표준 BERT에 비해 탐지 정확도가 향상되는지 확인하기 위해.
• 실시간으로 AI 기반 뉴스를 탐지하기 위한 실용적이고 고정확도의 NLP 파이프라인을 기여하기 위해.

제안 방법

• AI 기반 및 인간이 작성한 뉴스 기사로 구성된 정제된 데이터셋에 대해 RoBERTa 모델을 미세튜닝하기 위해.
• 비교 성능 분석을 위해 동일한 데이터셋에 대해 BERT 모델을 훈련하고 평가하기 위해.
• 주의 메커니즘을 활용한 시퀀스 분류를 통해 뉴스 기사가 AI 기반인지 진짜인지 분류하기 위해.
• 사전 훈련된 언어 모델을 특정 가짜 뉴스 탐지 작업에 적응시키기 위해 전이 학습 기법을 적용하기 위해.
• 토크나이제이션 및 미세튜닝 하이퍼파라미터 조정을 통해 모델의 일반화 및 성능 최적화하기 위해.
• 정확도, 정밀도 및 F1 스코어와 같은 표준 NLP 메트릭을 사용하여 결과를 검증하기 위해.

실험 결과

연구 질문

• RQ1 미세튜닝된 RoBERTa와 BERT 모델은 AI 기반 뉴스 기사와 인간이 작성한 뉴스 기사 간을 효과적으로 구분할 수 있는가?
• RQ2 RoBERTa를 미세튜닝함으로써 표준 BERT에 비해 탐지 정확도에 어떤 영향을 미치는가?
• RQ3 이 모델들은 ChatGPT가 생성한 합성 콘텐츠를 식별하는 데 어떤 성능을 보이는가?
• RQ4 사전 훈련된 언어 모델을 활용한 전이 학습을 통해 대규모로 AI 기반 오락성 정보를 고정확도로 탐지할 수 있는가?
• RQ5 실시간으로 AI 기반 뉴스를 탐지할 때 어떤 수준의 정밀도와 재현율을 달성할 수 있는가?

주요 결과

• 미세튜닝된 RoBERTa 모델은 탐지 정확도 98%를 달성하여 표준 BERT보다 뚜렷이 뛰어난 성능을 보였다.
• RoBERTa를 미세튜닝함으로써 ChatGPT가 생성한 AI 기반 콘텐츠를 식별하는 데 더 높은 정밀도와 강건성이 확보되었다.
• BERT와 RoBERTa 모두 뛰어난 성능를 보였지만, RoBERTa의 아키텍처가 이 작업에서 명확한 우위를 보였다.
• 결과는 사전 훈련된 트랜스포머 모델이 대규모로 AI 기반 뉴스를 효과적으로 적응시켜 탐지할 수 있음을 확인한다.
• 이 연구는 미세튜닝된 RoBERTa가 실시간으로 합성 뉴스 콘텐츠를 탐지하는 데 매우 효과적인 솔루션임을 입증한다.
• 높은 정확도는 이러한 모델이 디지털 플랫폼에서 오락성 정보를 방지하는 데 핵심적인 역할을 할 수 있음을 시사한다.