[논문 리뷰] ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time

Shangqing Tu, Chunyang Li외 4명|arXiv (Cornell University)|2023. 04. 27.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 21개의 벤치마크를 통해 시간에 따라 ChatGPT의 응답을 기록한 지속적으로 업데이트되는 데이터셋인 ChatLog을 소개한다. 본 연구는 종합적인 평가와 특징 분석을 수행하여 모델 행동의 시계열적 변화를 규명하고, 새로운 ChatGPT 버전에서의 탐지 정확도를 향상시키는 데 기여하는 안정적인 언어적 및 지식 기반 특징을 특정한다.

ABSTRACT

ChatGPT has achieved great success and can be considered to have acquired an infrastructural status. There are abundant works for evaluating ChatGPT on benchmarks. However, existing benchmarks encounter two challenges: (1) Disregard for periodical evaluation and (2) Lack of fine-grained features. In this paper, we construct ChatLog, an ever-updating dataset with large-scale records of diverse long-form ChatGPT responses for 21 NLP benchmarks from March, 2023 to now. We conduct a comprehensive performance evaluation to find that most capabilities of ChatGPT improve over time except for some abilities, and there exists a step-wise evolving pattern of ChatGPT. We further analyze the inherent characteristics of ChatGPT by extracting the knowledge and linguistic features. We find some stable features that stay unchanged and apply them on the detection of ChatGPT-generated texts to improve the robustness of cross-version detection. We will continuously maintain our project at \url{https://github.com/THU-KEG/ChatLog/}.

연구 동기 및 목표

• ChatGPT의 행동이 지속적인 훈련 및 정렬 업데이트에 따라 시간에 따라 어떻게 변화하는지 체계적으로 연구하는 것.
• 단일 시점 또는 제한된 버전 비교에 집중하는 기존 평가의 격차를 메우는 것.
• 모델 출력의 거시적(월간) 및 미세적(일일) 변화를 모두 포괄하는 종단적 데이터셋을 구축하는 것.
• 시간이 지남에 따라 안정되거나 변화하는 내재적 특징—언어적 및 지식 기반 특징—을 추출하고 분석하는 것.
• 시간에 따른 진화 과정에서 특정된 안정적 특징을 활용하여 ChatGPT 탐지 모델의 정확도를 향상시키는 것.

제안 방법

• 시간적 변화를 포착하기 위해 이중 데이터셋 구조를 구축: ChatLog-Monthly(매월 38,730개의 QA 쌍) 및 ChatLog-Daily(매일 동일한 1,000개의 ELI5 질문)를 활용.
• 생성 및 분류 작업을 포함한 21개의 벤치마크에서 자동 및 인간 평가를 수행하여 성능 변화 추적.
• 정보 추출 및 언어 분석과 같은 NLP 도구를 사용해 모델 출력에서 10개의 지식 기반 특징과 255개의 언어적 특징을 추출.
• 세 가지 분석 수행: 시간에 따른 특징 점수의 추세 분석, 피어슨 상관계수를 활용한 성능 상관관계 분석, 안정적 특징을 식별하기 위한 변동성 분석.
• HC3 데이터에서 RoBERTa 기반 탐지기를 훈련하고, LightGBM를 활용해 RoBERTa의 예측 확률과 안정적 특징을 통합하여 일반화 능력을 향상시킴.
• GitHub에서 지속적인 모니터링과 데이터셋 업데이트를 통해 장기적인 시계열 커버리지와 재현 가능성을 확보.

Figure 1: An example of different periods’ ChatGPT answers for the same question sampled from ELI5 dataset. Later version uses a metaphor for explanation.

실험 결과

연구 질문

• RQ1 ChatGPT의 성능은 다양한 NLP 작업에서 시간이 지남에 따라 어떻게 변화하는가?
• RQ2 ChatGPT 출력의 내재적 특징 중 어떤 것이 모델 업데이트 동안 안정적으로 유지되거나 크게 변화하는가?
• RQ3 언어적 및 지식 기반 특징이 시간에 따라 벤치마크 성능과 얼마나 상관관계가 있는가?
• RQ4 역사적 출력에서 추출한 안정적 특징을 활용하면 새로운 ChatGPT 버전에 대한 탐지 모델의 정확도가 얼마나 향상되는가?
• RQ5 사전 훈련된 모델 기반 탐지기(RoBERTa 등)와 규칙 기반 분류기(GLTR, 퍼플렉서티 등)는 변화하는 모델 출력에서 어떻게 성능을 내는가?

주요 결과

• 2023년 3월에서 4월 사이에 ChatGPT의 응답이 크게 변화했으며, 후속 버전은 '나이가 5세인 것처럼 설명해 주세요' 작업에서 더 자연스럽고隐시적인 설명을 제공했다.
• RoBERTa 기반 탐지기의 성능은 2023년 1월 데이터에서 테스트한 결과 대비 2023년 4월 데이터에서 최대 10% 감소했으며, 이는 모델 업데이트로 인한 분포 이탈을 시사한다.
• RoBERTa-qa 모델은 질문 맥락을 활용해 높은 정확도를 달성했지만, 답변만을 사용할 경우 성능이 90%로 떨어졌으며, 이는 질문 정보 의존도가 높다는 것을 보여준다.
• GLTR와 퍼플렉서티 기반 분류기는 미세조정된 RoBERTa 모델보다 더 큰 성능 하락을 보였으며, 이는 사전 훈련된 모델이 시간적 이동에 더 잘 일반화된다는 것을 시사한다.
• 저변동 계수를 통해 특정된 안정적 특징은 벤치마크 성능과 강한 상관관계를 보였으며, RoBERTa와 조합할 경우 탐지 정확도 향상에 기여했다.
• RoBERTa 예측 확률과 10개의 안정적 특징을 통합한 앙상블 탐지기는 단독 모델보다 새로운 ChatGPT 버전에서 더 우수한 일반화 성능을 보였다.

Figure 2: Trend of ChatGPT’s performance Rouge scores on ChatLog-Daily dataset every day from March 5 to April 9, 2023. Note that the data at the start point of January 18 comes from open-access HC3 dataset.