[논문 리뷰] ChatGPT as the Transportation Equity Information Source for Scientific Writing

Boniphace Kutela, Shoujia Li외 2명|arXiv (Cornell University)|2023. 03. 10.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

이 연구는 152편의 WoS 색인 논문에서 가져온 인간이 작성한 초록과 비교하여 ChatGPT가 교통 형평성 연구 논문의 초록을 생성하는 데 얼마나 잘하는지 평가한다. 통계적 및 텍스트 마이닝 방법을 사용하여, ChatGPT와 인간 초록 간 평균 58%의 중간 수준의 유사도를 발견했으며, 접근성, 대중교통, 정책 등의 주제에서 높은 유사도를 보였고, 이는 다듬어진 후에만 유의미한 정보 자료로 활용될 수 있음을 시사한다.

ABSTRACT

Transportation equity is an interdisciplinary agenda that requires both transportation and social inputs. Traditionally, transportation equity information are sources from public libraries, conferences, televisions, social media, among other. Artificial intelligence (AI) tools including advanced language models such as ChatGPT are becoming favorite information sources. However, their credibility has not been well explored. This study explored the content and usefulness of ChatGPT-generated information related to transportation equity. It utilized 152 papers retrieved through the Web of Science (WoS) repository. The prompt was crafted for ChatGPT to provide an abstract given the title of the paper. The ChatGPT-based abstracts were then compared to human-written abstracts using statistical tools and unsupervised text mining. The results indicate that a weak similarity between ChatGPT and human-written abstracts. On average, the human-written abstracts and ChatGPT generated abstracts were about 58% similar, with a maximum and minimum of 97% and 1.4%, respectively. The keywords from the abstracts of papers with over the mean similarity score were more likely to be similar whereas those from below the average score were less likely to be similar. Themes with high similarity scores include access, public transit, and policy, among others. Further, clear differences in the key pattern of clusters for high and low similarity score abstracts was observed. Contrarily, the findings from collocated keywords were inconclusive. The study findings suggest that ChatGPT has the potential to be a source of transportation equity information. However, currently, a great amount of attention is needed before a user can utilize materials from ChatGPT

연구 동기 및 목표

• ChatGPT가 생성한 콘텐츠의 신뢰성과 유용성을 교통 형평성 연구의 자료로 평가하는 것.
• Peer-reviewed 논문의 ChatGPT 생성 초록과 인간이 작성한 초록 간 유사도를 비교하는 것.
• 유사도가 높고 낮은 초록 쌍에서 주제 패턴과 키워드 군집을 식별하는 것.
• ChatGPT와 같은 대규모 언어 모델이 교통 형평성과 같은 다학제적 분야의 과학적 글쓰기 지원에 어떻게 기여할 수 있는지 평가하는 것.
• 검증 없이 학술 연구에서 AI가 생성한 콘텐츠를 얼마나 신뢰성 있게 사용할 수 있는지 판단하는 것.

제안 방법

• Web of Science (WoS) 저장소에서 152편의 교통 형평성 연구 논문을 확보하였다.
• 논문 제목을 프롬프트로 사용하여 ChatGPT를 통해 초록을 생성하였다.
• ChatGPT 생성 초록과 인간이 작성한 초록 간 유사도를 정량화하기 위해 통계 도구를 적용하였다.
• 비지도 텍스트 마이닝을 수행하여 초록 내 키워드 패턴과 주제 군집을 분석하였다.
• 유사도가 높고 낮은 초록 쌍 간의 키워드 공존 및 주제 그룹화를 비교하였다.
• 유사도 점수를 평균(58%) 기준으로 분류하여 내용 구조와 주제 분포의 차이를 분석하였다.

실험 결과

연구 질문

• RQ1 ChatGPT가 생성한 초록과 인간이 작성한 초록은 교통 형평성 연구에서 얼마나 유사한가?
• RQ2 ChatGPT와 인간 초록 간 유사도가 높거나 낮은 주제 분야는 무엇인가?
• RQ3 유사도가 높고 낮은 초록 쌍 간의 키워드 공존 패턴은 어떻게 다를까?
• RQ4 ChatGPT는 교통 형평성 분야의 과학적 글쓰기에서 얼마나 신뢰할 수 있는 정보 자료로 기능할 수 있는가?
• RQ5 ChatGPT가 생성한 초록과 연구자가 작성한 초록 간 구조적 및 의미적 차이는 무엇인가?

주요 결과

• ChatGPT 생성 초록과 인간이 작성한 초록 간 평균 유사도는 58%였으며, 범위는 1.4%에서 97%까지 다양했다.
• 평균 이상의 유사도 점수를 받은 초록은 더 많은 공통 키워드를 공유하여 주제 일치성이 더 높았다.
• 접근성, 대중교통, 정책 등의 주제에서 ChatGPT와 인간 초록 간 유사도 점수가 높았다.
• 유사도가 높고 낮은 초록 간 군집 패턴에 명확한 차이가 관찰되어 구조적 특성이 다름을 시사했다.
• 키워드 연속 분석 결과는 모순되었으며, 높고 낮은 유사도 쌍 간의 공존 패턴에 일관된 패턴이 없었다.
• 중간 수준의 유사도에도 불구하고, ChatGPT는 다듬어진 후 교통 형평성 연구의 보조 정보 자료로 잠재력을 보이며, 사용자 검증이 필수적이다.