[논문 리뷰] ChatGPT is Good but Bing Chat is Better for Vietnamese Students

Xuan-Quy Dao, Ngoc-Bich Le|arXiv (Cornell University)|2023. 07. 17.

Online Learning and Analytics인용 수 10

한 줄 요약

이 논문은 베트남 고등학교 졸업시험(VNHSGE)에서 ChatGPT와 BingChat을 비교하여, 문학을 제외한 대부분의 과목에서 BingChat이 일반적으로 우수하다고 판단하고, 문학에서 ChatGPT가 선도한다. BingChat의 우위는 GPT-4, 베트남 가용성, 하이퍼링크/인용 기능 때문이라고 설명한다.

ABSTRACT

This study examines the efficacy of two SOTA large language models (LLMs), namely ChatGPT and Microsoft Bing Chat (BingChat), in catering to the needs of Vietnamese students. Although ChatGPT exhibits proficiency in multiple disciplines, Bing Chat emerges as the more advantageous option. We conduct a comparative analysis of their academic achievements in various disciplines, encompassing mathematics, literature, English language, physics, chemistry, biology, history, geography, and civic education. The results of our study suggest that BingChat demonstrates superior performance compared to ChatGPT across a wide range of subjects, with the exception of literature, where ChatGPT exhibits better performance. Additionally, BingChat utilizes the more advanced GPT-4 technology in contrast to ChatGPT, which is built upon GPT-3.5. This allows BingChat to improve to comprehension, reasoning and generation of creative and informative text. Moreover, the fact that BingChat is accessible in Vietnam and its integration of hyperlinks and citations within responses serve to reinforce its superiority. In our analysis, it is evident that while ChatGPT exhibits praiseworthy qualities, BingChat presents a more apdated solutions for Vietnamese students.

연구 동기 및 목표

• VNHSGE 데이터셋을 통해 다수의 과목에서 베트남 학생들을 지원하는 두 최첨단 LLM(ChatGPT와 BingChat)의 효능을 평가한다.
• 두 모델의 성능을 베트남 학생의 VNHSGE 성적과 비교한다.
• 베트남의 교육에서 BingChat이 ChatGPT를 대체할 수 있는지 평가한다.

제안 방법

• 수학, 문학, 영어, 물리, 화학, 생물, 역사, 지리, 시민교육을 포함하는 VNHSGE 기반 평가 세트에서 ChatGPT와 BingChat을 평가한다.
• BingChat은 GPT-4를 사용하는 반면 ChatGPT는 GPT-3.5를 사용하여 이해력, 추론 및 생성 능력에 차이가 있음을 주목한다.
• 인간 베트남 학생의 성과와의 비교 결과를 분석하고 접근성 및 인용 기능(하이퍼링크)을 논의한다.

실험 결과

연구 질문

• RQ1 RS1: VNHSGE 시험에서 BingChat의 성능은 어떠한가?
• RQ2 RS2: VNHSGE 시험에서 BingChat의 역량이 ChatGPT의 역량과 어떻게 비교되는가?
• RQ3 RS3: VNHSGE 시험에서 BingChat의 역량이 베트남 학생의 역량과 어떻게 비교되는가?
• RQ4 RS4: 교육에서 BingChat이 베트남의 ChatGPT를 대체할 수 있는가?

주요 결과

• BingChat은 VNHSGE 데이터셋의 대부분의 과목에서 일반적으로 ChatGPT보다 우수한 성능을 보인다.
• ChatGPT는 문학에서만 BingChat보다 나은 성능을 보인다.
• BingChat의 이점은 GPT-4, 베트남에서의 이용 가능성, 소스에 대한 하이퍼링크 제공과 연계된다.
• 연산이 많이 필요한 과목들(수학, 물리, 화학)에서는 두 모델이 인간 학생에 비해 한계적이지만, 일부 경우에는 BingChat이 경쟁력이 있다.
• 온라인 정보 접근 및 소스 인용 기능은 실용적인 교육적 이점으로 강조된다.