[論文レビュー] Sensitivity and Robustness of Large Language Models to Prompt Template in Japanese Text Classification Tasks

Chengguang Gan, Tatsunori Mori|arXiv (Cornell University)|May 15, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿は、日本語テキスト分類タスクにおける大規模言語モデル（LLMs）のプロンプトテンプレートの変化に対する感受性とロバスト性を調査する。日本語のベンチマークデータセットを用いて、プロンプトの構造的変更が顕著な精度低下を引き起こすことを明らかにした—例えば、GPT-4の性能は49.21%から25.44%に低下した—これは、最先端モデルですら不安定であることを示しており、低リソース言語環境におけるロバスト性の向上が求められることを示唆している。

ABSTRACT

Prompt engineering relevance research has seen a notable surge in recent years, primarily driven by advancements in pre-trained language models and large language models. However, a critical issue has been identified within this domain: the inadequate of sensitivity and robustness of these models towards Prompt Templates, particularly in lesser-studied languages such as Japanese. This paper explores this issue through a comprehensive evaluation of several representative Large Language Models (LLMs) and a widely-utilized pre-trained model(PLM). These models are scrutinized using a benchmark dataset in Japanese, with the aim to assess and analyze the performance of the current multilingual models in this context. Our experimental results reveal startling discrepancies. A simple modification in the sentence structure of the Prompt Template led to a drastic drop in the accuracy of GPT-4 from 49.21 to 25.44. This observation underscores the fact that even the highly performance GPT-4 model encounters significant stability issues when dealing with diverse Japanese prompt templates, rendering the consistency of the model's output results questionable. In light of these findings, we conclude by proposing potential research trajectories to further enhance the development and performance of Large Language Models in their current stage.

研究の動機と目的

• 日本語テキスト分類のためのプロンプトテンプレートの変化に対するLLMsのロバスト性と感受性を評価すること。
• 日本語のような低リソース言語において、プロンプトのわずかな構文的変更がモデル性能に顕著な影響を及えるかどうかを特定すること。
• 日本語NLPタスクにおけるインstructベースのプロンプティングと標準的なプロンプトテンプレートの有効性を評価すること。
• 多言語コーパス（例：中国語-日本語）を用いた微調整が、日本語におけるLLMの性能と安定性に与える影響を調査すること。
• 非英語・低リソース言語環境におけるLLMの信頼性と一貫性を向上させるための実用的知見を提供すること。

提案手法

• 日本語テキスト分類ベンチマークデータセット上で複数のLLMs（GPT-4、GPT-3.5-Turbo、LLaMA-7B/13B、T5、およびLLaMA-7B-LoRA）を評価する。
• 同じモデルとタスクに対して、意味的に類似しているが構造が異なる複数のプロンプトテンプレートを適用し、性能のばらつきを測定する。
• 箱ひげ図を用いて、異なるプロンプトテンプレートにおける正解率スコアの分布を分析し、変動性と外れ値を強調する。
• 日本語・中国語の微調整コーパスを用いてLLaMA-7B-LoRAを訓練し、多言語事前学習が性能と安定性に与える影響を評価する。
• 生成出力の手動分析を通じて、特にT5のような小規模モデルにおける文脈理解と出力品質を評価する。
• 異なるプロンプトテンプレート間でのモデル出力を比較し、感受性と応答の一貫性に関するパターンを同定する。

実験結果

リサーチクエスチョン

• RQ1 日本語テキスト分類において、意味的に類似しているが構造が異なるプロンプトテンプレートを用いた場合、LLMsの性能はどの程度変動するか？
• RQ2 プロンプトテンプレートのわずかな構文的変更が、日本語における最先端LLMsの正答率と安定性にどの程度の影響を及えるか？
• RQ3 低リソース言語環境において、インストラクションベースのプロンプティングは、標準的なプロンプトテンプレートよりもロバスト性を向上させられるか？
• RQ4 中国語-日本語などの多言語コーパスを用いた微調整は、日本語テキスト分類におけるLLMsのロバスト性と性能を向上させるか？
• RQ5 T5のような小規模モデルは、構造が異なる日本語プロンプトに対して、大規模LLMsと比較して文脈理解や応答の質においてどの程度異なるか？

主な発見

• プロンプト構造の単純な変更により、GPT-4の正答率が49.21%から25.44%に低下し、テンプレート設計に対する感受性が顕著に示された。
• LLaMA-7B-LoRAはGPTモデルと同等の性能を達成し、GPT-3.5-Turboを上回ることさえした。これは、多言語微調整の有効性を示している。
• GPTシリーズはテンプレート間で正答率の四分位範囲が著しく大きかったため、プロンプトの変化に対して感受性が高く、ロバスト性に欠けることが判明した。
• T5はプロンプトの意図を理解できず、「Answer:」以降のテキストを繰り返すにとどまり、文脈理解が不十分であった。
• LLaMA-13BおよびLLaMA-7Bは、日本語ネイティブサポートがなくても意味のある日本語出力を生成したが、まれに未知語素子（OOV）が出現した。
• GPT-4はGPT-3.5-Turboよりもフォーマット準拠の出力を多く生成したのに対し、GPT-3.5-Turboはより会話形式の出力を多く生成した。これは、指示従い行動における差異を示唆している。