[論文レビュー] Boosting Language Models Reasoning with Chain-of-Knowledge Prompting

Jianing Wang, Qiushi Sun+2 more|arXiv (Cornell University)|Jun 10, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、明示的で構造化された知識トリプル（証拠となる事実）と文章による説明を併せて提示することで、大規模言語モデルの推論を向上させる「Chain-of-Knowledge (CoK) プロンプト」を提案する。外部の知識ベースを統合し、事実性と忠実性を評価する F²-Verification 戦略を適用することで、共通の常識、事実、記号的、算術的タスクのあらゆる分野で推論の信頼性とパフォーマンスが向上し、標準的なインライン学習やチェーン・オブ・スコーズ（CoT）プロンプトを上回る。

ABSTRACT

Recently, Chain-of-Thought (CoT) prompting has delivered success on complex reasoning tasks, which aims at designing a simple prompt like ``Let's think step by step'' or multiple in-context exemplars with well-designed rationales to elicit Large Language Models (LLMs) to generate intermediate reasoning steps. However, the generated rationales often come with mistakes, making unfactual and unfaithful reasoning chains. To mitigate this brittleness, we propose a novel Chain-of-Knowledge (CoK) prompting, where we aim at eliciting LLMs to generate explicit pieces of knowledge evidence in the form of structure triple. This is inspired by our human behaviors, i.e., we can draw a mind map or knowledge map as the reasoning evidence in the brain before answering a complex question. Benefiting from CoK, we additionally introduce a F^2-Verification method to estimate the reliability of the reasoning chains in terms of factuality and faithfulness. For the unreliable response, the wrong evidence can be indicated to prompt the LLM to rethink. Extensive experiments demonstrate that our method can further improve the performance of commonsense, factual, symbolic, and arithmetic reasoning tasks.

研究の動機と目的

• チェーン・オブ・スコーズ（CoT）プロンプトの脆さ（LLMが事実に反する、または説明に忠実でない推論チェーンを生成する問題）を是正すること。
• 知識トリプルの形で明示的に構造化された証拠を提示することで、LLMの推論の信頼性を向上させること。
• 推論チェーンの事実性（真実の知識と一致しているか）と忠実性（文章の説明や最終的な答えと一貫しているか）を評価する F²-Verification 戦略を開発すること。
• 誤った証拠を特定し、それをもとに推論を見直すメカニズムを可能にすることで、信頼性の低い推論を是正すること。
• 共通の常識、事実、記号的、算術的推論タスクを含む多様な推論ベンチマークで、CoK プロンプトの有効性を実証すること。

提案手法

• CoK プロンプトは、2つの要素を統合する：(1) 知識トリプル（CoK-ET）は (主語, 係り, 宮) の形式で表される構造化された知識事実であり、(2) その推論チェーンを補足する文章的根拠（CoK-EH）である。
• インライン例示は、ラベル付きの例をサンプリングし、「段階的に考えましょう」というプロンプトを追加して推論を誘導した後、外部知識ベースから関連する知識トリプルを検索し、手動でアノテートすることで構築する。
• F²-検証戦略は、2つの信頼性指標を定量化する：事実性（推論の証拠と真実の知識の一致度）と忠実性（証拠と文章的説明、および最終的な答えとの一貫性）。
• 信頼性の低い出力に対しては、F²-検証が誤った証拠を特定し、LLMが推論を見直すよう促すプロンプトを発動する。
• 微調整なしにゼロショット・フェイシュット設定で適用される。LLMは CoK 構造のインラインデモに条件付けられる。
• 見直しプロセスでは、特定された誤った証拠を根拠に、LLMが修正された推論チェーンを生成するよう誘導し、最終的な答えの正確性を向上させる。

Figure 1 : Comparison of three prompting methods: (a) ICL, (b) Chain-of-Thought (CoT), and (c) Chain-of-Knowledge (CoK) solving a StrategyQA question.

実験結果

リサーチクエスチョン

• RQ1 標準的なチェーン・オブ・スコーズプロンプトと比較して、構造化された知識トリプルは、LLMの推論における事実性と忠実性を向上させるか？
• RQ2 F²-検証戦略は、証拠の品質に基づいて信頼性の低い推論チェーンを効果的に検出できるか？
• RQ3 CoK プロンプトは、共通の常識、事実、記号的、算術的推論といった多様な推論タスクで、測定可能なパフォーマンス向上をもたらすか？
• RQ4 F²-検証に従って誘導される見直しプロセスは、誤った推論を効果的に是正し、答えの正確性を向上させられるか？
• RQ5 パrameterの更新なしに、CoK プロンプトは、幻覚的または一貫性のない推論をどの程度低減できるか？

主な発見

• CoK プロンプトは、共通の常識推論タスクにおいて、標準的なインライン学習やチェーン・オブ・スコーズプロンプトを上回る顕著な性能向上を達成した。
• 事実推論ベンチマークでは、明示的な知識トリプル統合によって事実に反する推論チェーンを削減し、より高い正確性を達成した。
• F²-検証法は、信頼性の低い推論チェーンを効果的に特定した。特に、事実に反する証拠と一貫性のない説明の両方を検出できた。
• F²-検証に従って誘導される見直しプロセスにより、誤った推論経路を是正し、答えの正確性が向上した。
• 算術的および記号的推論タスクでは、証拠と結論の論理的整合性を保つ点で、特に優れた頑健性と信頼性を示した。
• 実証的結果から、StrategyQA を含む複数のデータセットで一貫した向上が確認され、本手法の推論タイプにわたる一般化能力が裏付けられた。

Figure 2 : The proposed framework. We first construct exemplars with chain-of-knowledge (CoK) prompts. Then, the CoK prompts can be indicated to let the LLM generate reasoning chains, including evidence triples, explanation hints, and the final answer. At last, we estimate the reliability of reasoni