[論文レビュー] TELeR: A General Taxonomy of LLM Prompts for Benchmarking Complex Tasks

Shubhra Kanti Karmaker Santu, Dongji Feng|arXiv (Cornell University)|May 19, 2023

Text Readability and Simplification被引用数 9

ひとこと要約

本論文は TELeR（Turn, Expression, Level of Details, Role）の一般的な四次元分類法を提案し、LLMs に複雑タスクを遂行させる際の標準化されたベンチマークを促進する。さらに、プロンプトのカテゴリ分類を示す2つのユースケースを提示し、意味のある比較のためにプロンプトカテゴリを報告することを推奨する。

ABSTRACT

While LLMs have shown great success in understanding and generating text in traditional conversational settings, their potential for performing ill-defined complex tasks is largely under-studied. Indeed, we are yet to conduct comprehensive benchmarking studies with multiple LLMs that are exclusively focused on a complex task. However, conducting such benchmarking studies is challenging because of the large variations in LLMs' performance when different prompt types/styles are used and different degrees of detail are provided in the prompts. To address this issue, the paper proposes a general taxonomy that can be used to design prompts with specific properties in order to perform a wide range of complex tasks. This taxonomy will allow future benchmarking studies to report the specific categories of prompts used as part of the study, enabling meaningful comparisons across different studies. Also, by establishing a common standard through this taxonomy, researchers will be able to draw more accurate conclusions about LLMs' performance on a specific complex task.

研究の動機と目的

• LLMsを用いた ill-defined（未定義に近い）かつ複雑なタスクのベンチマーク時に標準化されたプロンプトの必要性を動機づける。
• Turn、Expression、Level of Details、Role（TELeR）でプロンプトを分類する一般的な分類法を提案する。
• TELeR によって共通標準へプロンプトを結びつけることで、研究間の意味のある横断比較を可能にする。
• TELeR の下でプロンプト分類を示す実用的なユースケース（メタレビュー生成と narrative braiding）を提示する。

提案手法

• 複雑タスクにとって重要なプロンプトエンジニアリング要素を、タスクの仕様詳細、文脈、相互作用スタイルを含めて定義する。
• Turn、Expression、Role、Level of Details（レベル0-6）の4次元に基づくTELeR分類法を開発する。
• Directive と Data を TELeR の各次元と組み合わせることで、多様なプロンプト構成が得られることを説明する。
• 分類法の適用性を示すため、2つの複雑タスクに対してレベル別の例示プロンプ prompts を提供する。

Figure 1: Proposed Prompt Taxonomy: TELeR (< T urn, E xpression, Le vel of Details, R ole>)

実験結果

リサーチクエスチョン

• RQ1 一般的な分類法（TELeR）は、複雑タスクのLLMベンチマークにおけるプロンプト記述を標準化できるか？
• RQ2 TELeR の各次元は、未定義・抽象的・多段階のタスクに対する LLM の性能にどのような影響を与えるか？
• RQ3 TELeR によって独立したベンチマーク研究間で apples-to-apples の比較を実現できるか？
• RQ4 実用的なユースケース（メタレビュー生成と narrative braiding）は、プロンプトの分類としての分類法の有用性を示すか？

主な発見

• TELeR はプロンプトを統一的に分類する標準を提供し、複雑タスクにおける LLM の性能を研究間で意味のある横断比較を可能にする。
• プロンプト設計の顕著な要因である Turn、Expression、Level of Details、Role は、複雑タスクにおける性能差を生み出す。
• Level based detailing（0 から 6） は、タスク指示の粒度を捉え、成果に影響を与える。
• 2 つのユースケースは、TELeR カテゴリがメタレビュー生成と narrative braiding のプロンプトへどのように対応するかを示す。
• 著者は、再現性と比較可能性を高めるために、使用された正確なプロンプトカテゴリの報告を推奨する。