[논문 리뷰] Detecting The Corruption Of Online Questionnaires By Artificial Intelligence

Benjamin Lebrun, Sharon Temtsin외 2명|arXiv (Cornell University)|2023. 08. 14.

Artificial Intelligence in Healthcare and EducationMedicine참고 문헌 74인용 수 3

한 줄 요약

이 연구는 온라인 설문지에서 AI가 생성한 응답이 인간과 자동화된 시스템에 의해 감지될 수 있는지 조사한다. 인간은 AI로 작성된 텍스트를 76%의 정확도로 식별하는 데 성공했지만, 감지 능력은 여전히 신뢰할 수 없으며, 자동화된 AI 감지 시스템은 완전히 사용 불가능한 것으로 밝혀져 온라인 연구에서 커뮤니티 기반 플랫폼을 활용할 경우 데이터 품질에 위협이 된다.

ABSTRACT

Online questionnaires that use crowd-sourcing platforms to recruit participants have become commonplace, due to their ease of use and low costs. Artificial Intelligence (AI) based Large Language Models (LLM) have made it easy for bad actors to automatically fill in online forms, including generating meaningful text for open-ended tasks. These technological advances threaten the data quality for studies that use online questionnaires. This study tested if text generated by an AI for the purpose of an online study can be detected by both humans and automatic AI detection systems. While humans were able to correctly identify authorship of text above chance level (76 percent accuracy), their performance was still below what would be required to ensure satisfactory data quality. Researchers currently have to rely on the disinterest of bad actors to successfully use open-ended responses as a useful tool for ensuring data quality. Automatic AI detection systems are currently completely unusable. If AIs become too prevalent in submitting responses then the costs associated with detecting fraudulent submissions will outweigh the benefits of online questionnaires. Individual attention checks will no longer be a sufficient tool to ensure good data quality. This problem can only be systematically addressed by crowd-sourcing platforms. They cannot rely on automatic AI detection systems and it is unclear how they can ensure data quality for their paying clients.

연구 동기 및 목표

• 온라인 설문지에서 AI가 생성한 응답이 인간 평가자에 의해 신뢰성 있게 감지될 수 있는지 평가하기 위해.
• 대규모 언어 모델에서 생성된 합성 텍스트를 식별하는 데 있어 자동화된 AI 감지 시스템의 성능을 평가하기 위해.
• 커뮤니티 기반 플랫폼을 활용한 온라인 연구에서 AI가 생성한 응답이 데이터 품질에 미치는 영향을 검토하기 위해.
• 고도로 발전한 LLM 시대에 개방형 질문 응답이 여전히 데이터 무결성을 확보하는 데 유용한 도구로 기능할 수 있는지 조사하기 위해.
• 대규모 온라인 연구에서 데이터 신뢰성을 유지하기 위해 필요한 체계적 해결책을 특정하기 위해.

제안 방법

• 참가자들에게 GPT-3.5로 생성된 응답과 인간 참가자가 작성한 응답을 포함한 개방형 응답을 제시했다.
• 인간 평가자들은 통제된 블라인드 연구에서 AI 생성 응답과 인간 작성 응답을 구분하도록 임무를 부여받았다.
• 동일한 응답들을 AI 또는 인간 생성으로 분류하기 위해 자동화된 AI 감지 시스템을 적용했다.
• 표준 분류 지표를 사용하여 인간 및 자동화된 시스템의 감지 정확도를 측정했다.
• 연구는 정성적 응답 분석과 정량적 감지 성능 평가를 결합한 혼합 방법 접근법을 사용했다.
• 통계적 신뢰성을 확보하기 위해 균형 잡힌 100개의 응답(인간 50개, AI 생성 50개) 데이터셋을 사용한 실험 설계를 포함했다.

Figure 1: Distribution of response length from source experiment

실험 결과

연구 질문

• RQ1 인간 평가자들은 온라인 설문지에서 AI가 생성한 응답을 신뢰성 있게 감지할 수 있는가?
• RQ2 현재 자동화된 AI 감지 시스템은 대규모 언어 모델에서 생성된 합성 텍스트를 식별하는 데 얼마나 효과적인가?
• RQ3 AI가 생성한 응답은 온라인 연구에서 데이터 품질을 얼마나 심각하게 악화시키는가?
• RQ4 고도로 발전한 LLM의 시대에 개방형 설문지 응답은 여전히 신뢰할 수 있는 데이터 품질 점검 수단으로 기능할 수 있는가?
• RQ5 AI 자동화된 온라인 설문조사에서 데이터 무결성을 확보하기 위해 어떤 체계적 변화가 필요한가?

주요 결과

• 인간 평가자들은 AI 생성 응답과 인간 작성 응답을 구분하는 데 76%의 정확도를 달성하여 감지가 가능하지만, 강력한 데이터 품질 제어에는 부족하다는 것을 시사한다.
• 자동화된 AI 감지 시스템은 신뢰할 수 있는 성능이 전혀 없었으며, 합성 텍스트를 식별하는 데 실패했다.
• 연구는 대규모 언어 모델이 인간의 글쓰기와 유사하고 맥락에 부합하는 응답을 생성할 수 있음을 확인하여 전통적인 데이터 검증 방법의 신뢰성을 떨어뜨린다.
• AI 생성 응답의 보편화는 수동 검토 및 주의력 점검의 효과를 떨어뜨리며, 온라인 연구에서 사기 감지 비용을 증가시킨다.
• 현재 인간의 판단과 주의력 점검에 의존하는 방식은 커뮤니티 기반 플랫폼을 활용한 온라인 연구에서 데이터 품질을 확보하는 데 더 이상 충분하지 않다.
• 연구 결과는 AI 오염의 위협을 체계적으로 해결하기 위해 플랫폼 수준의 조치—예를 들어 개선된 감지 인프라 또는 접근 제어—가 필요하다는 것을 시사한다.

Figure 2: Questionnaire to measure the quality of the text.