[논문 리뷰] Sensitivity and Robustness of Large Language Models to Prompt Template in Japanese Text Classification Tasks

Chengguang Gan, Tatsunori Mori|arXiv (Cornell University)|2023. 05. 15.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 일본어 텍스트 분류 작업에서 대규모 언어 모델(LM)의 프롬프트 템플릿 변형에 대한 민감도와 내성에 대해 조사한다. 일본어 벤치마크 데이터셋을 사용하여, 프롬프트의 구조적 변화가 정확도에 심각한 영향을 미친다는 것을 입증한다. 예를 들어, GPT-4의 성능은 49.21%에서 25.44%로 급격히 하락하였다. 이는 최신 기술 모델조차도 안정성이 떨어짐을 보여주며, 자원이 적은 언어 환경에서의 내성 향상 필요성을 제기한다.

ABSTRACT

Prompt engineering relevance research has seen a notable surge in recent years, primarily driven by advancements in pre-trained language models and large language models. However, a critical issue has been identified within this domain: the inadequate of sensitivity and robustness of these models towards Prompt Templates, particularly in lesser-studied languages such as Japanese. This paper explores this issue through a comprehensive evaluation of several representative Large Language Models (LLMs) and a widely-utilized pre-trained model(PLM). These models are scrutinized using a benchmark dataset in Japanese, with the aim to assess and analyze the performance of the current multilingual models in this context. Our experimental results reveal startling discrepancies. A simple modification in the sentence structure of the Prompt Template led to a drastic drop in the accuracy of GPT-4 from 49.21 to 25.44. This observation underscores the fact that even the highly performance GPT-4 model encounters significant stability issues when dealing with diverse Japanese prompt templates, rendering the consistency of the model's output results questionable. In light of these findings, we conclude by proposing potential research trajectories to further enhance the development and performance of Large Language Models in their current stage.

연구 동기 및 목표

• 일본어 텍스트 분류 작업에서 프롬프트 템플릿의 변형에 대한 LLM의 내성과 민감도를 평가하기 위해.
• 일본어와 같이 자원이 적은 언어에서 프롬프트의 미세한 문법적 변화가 모델 성능에 상당한 영향을 미치는지 확인하기 위해.
• 지침 기반 프롬프팅과 표준 프롬프트 템플릿이 일본어 NLP 작업에서 얼마나 효과적인지 평가하기 위해.
• 다국어 코퍼스(예: 중국어-일본어)를 활용한 피니테이닝이 일본어에서 LLM의 성능과 안정성에 어떤 영향을 미치는지 탐색하기 위해.
• 비영어권, 자원이 적은 언어 환경에서 LLM의 신뢰성과 일관성을 향상시키기 위한 실질적인 통찰을 제공하기 위해.

제안 방법

• 일본어 텍스트 분류 벤치마크 데이터셋에서 여러 LLM(GPT-4, GPT-3.5-Turbo, LLaMA-7B/13B, T5, LLaMA-7B-LoRA)을 평가하기 위해.
• 동일한 모델과 작업에 대해 의미적으로 유사하지만 구조적으로 다른 여러 프롬프트 템플릿을 적용하여 성능 변동성을 측정하기 위해.
• 정확도 점수의 분포를 분석하기 위해 박스플롯 시각화를 사용하여 변동성과 이질적 값(아웃라이어)을 강조하기 위해.
• 일본어-중국어 피니테이닝 코퍼스를 활용해 LLaMA-7B-LoRA를 훈련시켜, 다국어 사전 훈련이 성능과 안정성에 미치는 영향을 평가하기 위해.
• 수동 분석을 통해 생성된 출력의 맥락 이해도와 생성 품질을 평가하기 위해, 특히 T5와 같은 작은 모델의 경우에 중점을 두기 위해.
• 다양한 프롬프트 템플릿 간의 모델 출력을 비교하여 민감도와 응답 일관성의 패턴을 식별하기 위해.

실험 결과

연구 질문

• RQ1 일본어 텍스트 분류 작업에서 의미적으로 유사하지만 구조적으로 다른 프롬프트 템플릿을 사용할 경우 LLM의 성능는 어떻게 변하는가?
• RQ2 일본어에서 최신 기술 LLM의 정확도와 안정성에 대해 프롬프트 템플릿의 미세한 문법적 변화가 어느 정도의 영향을 미치는가?
• RQ3 자원이 적은 언어 환경에서 지침 기반 프롬프팅이 표준 프롬프트 템플릿보다 내성 향상에 기여할 수 있는가?
• RQ4 중국어-일본어 등과 같은 다국어 코퍼스를 활용한 피니테이닝이 일본어 텍스트 분류에서 LLM의 내성과 성능을 향상시키는가?
• RQ5 T5와 같은 작은 모델은 다양한 구조를 가진 일본어 프롬프트에 대해 이해하고 응답하는 데서 큰 LLM과 어떻게 비교되는가?

주요 결과

• 단순한 프롬프트 구조 변경으로 인해 GPT-4의 정확도가 49.21%에서 25.44%로 감소하여, 템플릿 설계에 매우 민감함을 보여주었다.
• LLaMA-7B-LoRA는 GPT 모델과 동등한 성능을 달성했고, GPT-3.5-Turbo를 초월하는 성능을 보여주어 다국어 피니테이닝의 효과성을 입증했다.
• GPT 시리즈는 템플릿 간 정확도의 사분위율 범위(IQR)가 뚜렷이 넓어, 프롬프트 변형에 매우 민감하고 내성이 떨어짐을 나타냈다.
• T5는 프롬프트의 의도를 이해하지 못하고 'Answer:' 이후의 텍스트를 반복하는 등 맥락 이해도가 낮았다.
• LLaMA-13B와 LLaMA-7B는 일본어 지원이 없음에도 불구하고 의미 있는 응답을 생성했지만, 일부 OOV(Out-of-Vocabulary) 토큰이 나타났다.
• GPT-4는 GPT-3.5-Turbo보다 형식에 맞는 응답을 더 많이 생성했고, GPT-3.5-Turbo는 더 대화체 스타일의 출력을 내보내어 지시어 따르기 행동에 차이가 있음을 시사했다.