[論文レビュー] LLM-augmented Preference Learning from Natural Language

Inwon Kang, Sikai Ruan+5 more|arXiv (Cornell University)|Oct 12, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、自然言語からの好みの学習に大規模言語モデル（LLMs）を用いることの有効性を調査し、分類タスクをプロンプトベースの推論問題として定式化している。LLMs、特にfew-shotプロンプティングを用いることで、微調整なしに、長文や複雑なテキストにおいて、従来の最先端モデルを上回ることを示している。

ABSTRACT

Finding preferences expressed in natural language is an important but challenging task. State-of-the-art(SotA) methods leverage transformer-based models such as BERT, RoBERTa, etc. and graph neural architectures such as graph attention networks. Since Large Language Models (LLMs) are equipped to deal with larger context lengths and have much larger model sizes than the transformer-based model, we investigate their ability to classify comparative text directly. This work aims to serve as a first step towards using LLMs for the CPC task. We design and conduct a set of experiments that format the classification task into an input prompt for the LLM and a methodology to get a fixed-format response that can be automatically evaluated. Comparing performances with existing methods, we see that pre-trained LLMs are able to outperform the previous SotA models with no fine-tuning involved. Our results show that the LLMs can consistently outperform the SotA when the target text is large -- i.e. composed of multiple sentences --, and are still comparable to the SotA performance in shorter text. We also find that few-shot learning yields better performance than zero-shot learning.

研究の動機と目的

• 大規模言語モデル（LLMs）が微調整なしに、自然言語における比較的好みの分類を効果的に行えるかどうかを評価すること。
• プロンプト工学およびfew-shot対比ゼロショット学習の影響が、好み分類のパフォーマンスに与える影響を調査すること。
• テキストの複雑さが異なるベンチマークデータセットにおいて、LLMベースのアプローチと既存の最先端モデルを比較すること。
• マルチエージェント意思決定システムにおける好みの学習のスケーラブルでゼロショット対応のソリューションとしてLLMsの実現可能性を検討すること。
• 現在のLLMsが、曖昧なまたは内蔵された好みの表現を処理する際に抱える限界を特定し、改善の方向性を提案すること。

提案手法

• 好み分類タスクを、入力テキストをLLMs向けの自然言語指示に埋め込むプロンプトベースの推論問題として形式化した。
• 2つの効果的なプロンプティング戦略を設計した：1つは明示的な指示テンプレートを用いるもの、もう1つはプロンプト内にfew-shot例を組み込むもの。
• GPT-4、GPT-3.5-Turbo、LLaMa-2-70B、LLaMa-2-13Bの4つのLLMを、Compsent-19およびCollege Confidentialの2つのベンチマークデータセットで評価した。
• 固定フォーマットの応答パースリングを用いた自動評価により、モデル間での一貫性と信頼性の高いパフォーマンス測定を確保した。
• ゼロショットおよびfew-shotプロンプティングの設定を実装し、汎化性能およびコンテキスト内学習能力を比較した。
• モデルのパフォーマンスとプロンプト工学の影響を分離する構造化された評価パイプラインを適用し、比較の再現可能性と公平性を確保した。

Figure 1. Illustration of the retry prompt process. The incorrect output is appended to the original prompt, followed by a retry message to remind the rules.

実験結果

リサーチクエスチョン

• RQ1 LLMsは微調整なしに、自然言語からの好みの学習で、従来の最先端モデルを上回ることができるか？
• RQ2 異なるLLMsにおいて、few-shotプロンプティングとゼロショットプロンプティングのどちらが好み分類の正確性において優れているか？
• RQ3 モデルサイズ（例：GPT-4 対 LLaMa-2-13B）は、長文やより複雑な好み表現において、性能に顕著な影響を与えるか？
• RQ4 LLMsは、従来のNLPモデルが困難に感じる、曖昧なまたは複数文にわたる好み表現を効果的に処理できるか？
• RQ5 プロンプト設計は、LLMsの好み分類タスクにおける潜在能力を引き出す上で、どのような役割を果たすか？

主な発見

• 事前学習済みのLLMs、特にGPT-4とLLaMa-2-70Bは、より長く複雑なテキストを含むCollege Confidentialデータセットにおいて、従来の最先端モデルを上回った。
• すべての評価対象LLMにおいて、few-shotプロンプティングがゼロショットプロンプティングよりも一貫して高いパフォーマンスを示し、コンテキスト内学習が好み検出の正確性を向上させることを示した。
• 小さなLLaMa-2-13Bモデルですら、適切なプロンプティングを施せば競争力のあるパフォーマンスを達成しており、パrameter数が中程度であってもLLMsが有効に機能することを示唆している。
• 短い単一文のテキスト（例：Compsent-19）では、一部の従来SotAモデルがLLMsを上回っているため、LLMsが常に優れているわけではなく、複雑さの高い文に優れていることがわかった。
• 最大のモデル、GPT-4は最高のパフォーマンスを達成しており、モデルスケールが曖昧な文脈における推論力と好み理解力の向上に寄与することを示した。
• プロンプト工学はパフォーマンスに顕著な影響を与え、構造的で例を多く含むプロンプトが、汎用的な指示よりも信頼性が高く正確な予測をもたらした。