[論文レビュー] PREFER: Prompt Ensemble Learning via Feedback-Reflect-Refine

Chenrui Zhang, Lin Liu+5 more|arXiv (Cornell University)|Aug 23, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、フィードバック・リフレクション・最適化のループを用いて、自己指向的なプロンプト改善と安定したパフォーマンスを実現する、LLMのプロンプトエンsembling手法Preferを提案する。この手法は、二重バギングを用いて自動化・強化されたプロンプト生成を可能にし、最小限の手作業で複数のタスクで最先端の結果を達成するとともに、従来手法に比べて効率性が向上する。

ABSTRACT

As an effective tool for eliciting the power of Large Language Models (LLMs), prompting has recently demonstrated unprecedented abilities across a variety of complex tasks. To further improve the performance, prompt ensemble has attracted substantial interest for tackling the hallucination and instability of LLMs. However, existing methods usually adopt a two-stage paradigm, which requires a pre-prepared set of prompts with substantial manual effort, and is unable to perform directed optimization for different weak learners. In this paper, we propose a simple, universal, and automatic method named PREFER (Pompt Ensemble learning via Feedback-Reflect-Refine) to address the stated limitations. Specifically, given the fact that weak learners are supposed to focus on hard examples during boosting, PREFER builds a feedback mechanism for reflecting on the inadequacies of existing weak learners. Based on this, the LLM is required to automatically synthesize new prompts for iterative refinement. Moreover, to enhance stability of the prompt effect evaluation, we propose a novel prompt bagging method involving forward and backward thinking, which is superior to majority voting and is beneficial for both feedback and weight calculation in boosting. Extensive experiments demonstrate that our PREFER achieves state-of-the-art performance in multiple types of tasks by a significant margin. We have made our code publicly available.

研究の動機と目的

• 事前の定義済みプロンプトに依存し、共同最適化が欠如している既存の二段階プロンプトエンsemble手法の限界を是正すること。
• LLMによるリフレクションを活用した自動的・自己適応的プロンプト生成により、手作業の負荷とドメイン知識の必要性を低減すること。
• 統合的でフィードバック駆動のフレームワークにブースティングとバギングを統合することで、安定性とパフォーマンスを向上させること。
• 前向き思考と後向き思考を用いた二重バギング戦略により、プロンプトの質と耐性を向上させること。
• フィードバック駆動のリフレクションにより、難易度の高い例に焦点を当てたプロンプトの指向的最適化を可能とすること。

提案手法

• LLMが難易度の高い例についての誤差フィードバックを受け、それに対してリフレクションを行い、最適化されたプロンプトを生成するフィードバック・リフレクション・最適化ループを提案。
• 過去のプロンプトの欠陥を分析したリフレクション分析に基づき、LLMが自動的に新しいプロンプトを合成する。
• 前向き思考と後向き思考を組み合わせて信頼性スコアを計算し、安定性を向上させる二重バギング手法を導入。
• 性能に応じて動的に重みを再設定するブースティングメカニズムを採用し、難易度の高い例に焦点を当てる。
• LLMの生成的およびリフレクティブな能力を活用して、プロンプトの質と下流タスクのパフォーマンスを同時に最適化。
• 複数の視点から推論経路を検証することで、幻覚を回避する自己一貫性のあるフィードバックメカニズムを設計。

実験結果

リサーチクエスチョン

• RQ1 自動的で自己リフレクティブなプロンプトフレームワークは、手作業または事前に定義されたプロンプトエンsembleよりも、LLMタスクで優れた性能を発揮できるか？
• RQ2 フィードバック・リフレクション・最適化と二重バギングを統合することで、プロンプトエンsemble学習における安定性とパフォーマンスがどのように向上するか？
• RQ3 フィードバック駆動のプロンプト最適化は、幻覚をどれほど低減し、難易度の高い例における一般化性能を向上させるか？
• RQ4 統合的ブースティングとバギングフレームワークは、別個または単一段階のエンsemble手法を上回る性能を発揮できるか？
• RQ5 既存の自動プロンプティングアプローチと比較して、本手法は効率性と収束速度においてどのように優れているか？

主な発見

• Preferは、複数のNLPタスクで最先端のパフォーマンスを達成しており、既存のプロンプトエンsembleベースラインを顕著に上回っている。
• フィードバック・リフレクション・最適化機構を削除すると、バギングを削除した場合よりも大きなパフォーマンス低下が生じ、この機構が指向的最適化において中心的な役割を果たしていることが示された。
• 前向き思考と後向き思考を用いた二重バギング手法は、多数決方式を上回り、安定性と信頼性推定の両面で向上を実現した。
• APOと比較して、Preferは収束が早く、APIコール回数が少なくても安定したパフォーマンスを維持しており、トレーニング効率が優れていることが示された。
• ケーススタディを通じて、手作業によるプロンプト設計への依存が低下し、より情報量が多く論理的に整合性のあるプロンプト最適化が実現されていることが明らかになった。
• トレーニング効率ベンチマークにおいて、特にビームサーチおよびバンディット選択フェーズで、APOと比較してPreferははるかに少ないAPIコール回数と短い最適化ステップあたりの所要時間を要した。