[論文レビュー] ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning

Olga Golovneva, Moya Chen+5 more|arXiv (Cornell University)|Dec 15, 2022

Topic Modeling被引用数 28

ひとこと要約

ROSCOEは、LLM出力におけるステップバイステップの推論品質を評価する微細で教師なしの評価指標群を導入し、意味的整合性、意味的類似性、論理推論、言語の整合性に焦点を当てる。さまざまな推論データセットに対して、基準よりも頑健で人間の判断との相関が強いことを示す。

ABSTRACT

Large language models show improved downstream task performance when prompted to generate step-by-step reasoning to justify their final answers. These reasoning steps greatly improve model interpretability and verification, but objectively studying their correctness (independent of the final answer) is difficult without reliable methods for automatic evaluation. We simply do not know how often the stated reasoning steps actually support the final end task predictions. In this work, we present ROSCOE, a suite of interpretable, unsupervised automatic scores that improve and extend previous text generation evaluation metrics. To evaluate ROSCOE against baseline metrics, we design a typology of reasoning errors and collect synthetic and human evaluation scores on commonly used reasoning datasets. In contrast with existing metrics, ROSCOE can measure semantic consistency, logicality, informativeness, fluency, and factuality - among other traits - by leveraging properties of step-by-step rationales. We empirically verify the strength of our metrics on five human annotated and six programmatically perturbed diagnostics datasets - covering a diverse set of tasks that require reasoning skills and show that ROSCOE can consistently outperform baseline metrics.

研究の動機と目的

• 自動的で微細な評価がLLMsの一歩一歩の推論に必要であることを動機づける。
• 指標設計と注釈を導く推論エラーの分類法を提案。
• ROSCOEを多視点スコアリングスイートとして開発（意味的整合、意味的類似性、論理推論、言語整合性）。
• 診断データと人間評価データセットでROSCOEをベースラインと比較して頑健性と解釈性を実証。

提案手法

• 四つの視点スコアリングフレームワークを定義: 意味的整合、意味的類似性、論理推論、言語整合性。
• 9種類の推論エラータイプの分類を構築し、合成 perturbations と人間による注釈で診断を作成。
• ROSCOE内で18の微細で教師なし指標を開発（スコアは[0,1]、Step/Chainレベルのバリアントと参照なし/ありのオプションを含む）。
• 論理推論データでSimCSEベースの文埋め込みを微調整して、ステップと連鎖表現を計算し、整合性・類似性指標を作成。
• Somers’ D の相関を用いて、Syntheticと人間判断に基づく評価とともに、ROUGE, BLEURT, BERTScore, BARTScore, CTC変種などのベースラインと比較してROSCOEを評価。
• 制御された摂動と広範なデータセット分析を通じて頑健性と解釈性を示す。

実験結果

リサーチクエスチョン

• RQ1 微細で教師なしの指標スイートは、LLM出力の一歩一歩の推論の正確性と質を信頼性高く評価できるか。
• RQ2 提案するROSCOE指標は、意味的整合、事実性、論理的一貫性を、多様な推論タスクでベースラインを上回るか。
• RQ3 推論ステップの摂動（欠落ステップ、算術エラー、誤作話）は、指標スコアと人間判断との相関にどのように影響するか。
• RQ4 推論データで埋め込みを微調整すると、ROSCOEがデータセット全体で推論エラーを検出する能力は向上するか。

主な発見

• ROSCOEは、参照なし設定で6つの診断データセットで一貫してベースライン指標を上回る。
• ROSCOE-SS（semantic similarity）は、いくつかのタスクで顕著な利得を示し、幻覚や繰り返しの検出に有効。
• ROSCOEは、意味的整合と推論の一貫性に特において、複数データセットとエラータイプで人間 Judgmentとの相関が強い。
• 複数-step推論データでSimCSEベースの埋め込みを微調整すると、データセット全体の平均指標相関が改善。
• メトリクスは、ベースラインと比較して論理・算術推論を要するタスクに対して頑健性を示す。
• ROSCOEを分類タスクに使用する際には、データセット固有の閾値のキャリブレーションが必要であることが分析から明らかになる。