[論文レビュー] Metacognitive Capabilities of LLMs: An Exploration in Mathematical Problem Solving

Aniket Didolkar, Anirudh Goyal+8 more|arXiv (Cornell University)|May 20, 2024

Intelligent Tutoring Systems and Adaptive Learning被引用数 4

ひとこと要約

この論文は、大規模言語モデル（LLMs）が数学的推論における自己認識的（メタ認知的）能力を有することを示している。具体的には、自身の問題解決スキルを同定し、整理することで、GSM8KおよびMATHベンチマークにおける精度を、GPT-4 やコード支援モデルを含む複数の強力なLLMで顕著に向上させた。二段階のプロンプトフレームワーク（スキルラベル付け → 語義的クラスタリング）を用い、解釈可能な粗いスケールのスキルラベルを生成した。これらのラベルをコンテキスト内例として用いることで、性能が著しく向上した。

ABSTRACT

Metacognitive knowledge refers to humans' intuitive knowledge of their own thinking and reasoning processes. Today's best LLMs clearly possess some reasoning processes. The paper gives evidence that they also have metacognitive knowledge, including ability to name skills and procedures to apply given a task. We explore this primarily in context of math reasoning, developing a prompt-guided interaction procedure to get a powerful LLM to assign sensible skill labels to math questions, followed by having it perform semantic clustering to obtain coarser families of skill labels. These coarse skill labels look interpretable to humans. To validate that these skill labels are meaningful and relevant to the LLM's reasoning processes we perform the following experiments. (a) We ask GPT-4 to assign skill labels to training questions in math datasets GSM8K and MATH. (b) When using an LLM to solve the test questions, we present it with the full list of skill labels and ask it to identify the skill needed. Then it is presented with randomly selected exemplar solved questions associated with that skill label. This improves accuracy on GSM8k and MATH for several strong LLMs, including code-assisted models. The methodology presented is domain-agnostic, even though this article applies it to math problems.

研究の動機と目的

• 大規模言語モデル（LLMs）が、基本的な推論能力を超えて、自身の推論スキルに関する認識（自己認識的知識）を有しているかどうかを調査すること。
• LLMが内部の問題解決スキルを自律的に同定・整理し、解釈可能な粗いスケールのカテゴリに分類できる、ドメインに依存しないプロンプトベースの手法を開発すること。
• これらの自己同定されたスキルラベルが意味的であり有用であることを、コンテキスト内学習に統合することで、数学的推論タスクにおけるゼロショット一般化性能の向上を通じて検証すること。
• LLM自身のスキル分類から得たキュレートされたスキル例のリポジトリを活用することで、数学的推論ベンチマークにおけるLLMの性能を向上させること。

提案手法

• まず、GSM8K や MATH といった数学データセットの各訓練例に対して、必要な推論プロセスに基づき、強力なLLMが細分化されたスキルラベルを割り当てる。
• 次に、同じLLMがラベル付けされた例を対象に語義的クラスタリングを実行し、類似した細分化スキルをより広範で解釈可能なスキルファミリーにグループ化することで、5,000以上のラベルを約117の粗いスケールのスキルに削減する。
• 各粗いスケールのスキルラベルと、訓練セットからの代表的な質問・回答ペアを組み合わせた、スキル例のリポジトリを構築する。
• 推論段階では、ターゲットLLMがリポジトリから新しいテスト問題に最も関連する粗いスケールのスキルを特定するようプロンプトされる。
• その後、選択されたスキルカテゴリに属するコンテキスト内例が提供され、その誘導に従って推論が行われる。これは人間の例示学習に類似したプロセスである。
• この手法は、GPT-4 やコード支援モデルを含む複数の強力なLLMに適用され、2つの主要な数学ベンチマークで検証された。

Figure 3 : Skill Wise Plot In this Figure we compare the the per-skill accuracies for the Skill-Based approach and the Random approach on the GSM8K dataset. We can see that proposed Skill-Based approach results in better accuracies for 11/18 skills.

実験結果

リサーチクエスチョン

• RQ1 LLMは、数学的問題を解くために必要な特定の推論スキルを自律的かつ自発的に同定・ラベル付けできるか？
• RQ2 LLMが生成したスキルラベルは、意味的に整合性があり、解釈可能なクラスタを形成するのか？
• RQ3 自己同定されたスキル例を用いることで、LLMの未学習の数学的問題に対する精度が向上するか？
• RQ4 スキル例の使用による性能向上は、異なるLLMアーキテクチャやプロンプト戦略に対しても一貫して有効であるか？

主な発見

• LLMは、数学的問題に対して、細分化されたタスク固有のスキルラベルを生成でき、MATHデータセットではクラスタリング前の段階で約5,000の固有ラベルが同定された。
• 語義的クラスタリングにより、5,000を超えるラベルが117の解釈可能な粗いスケールのスキルファミリーに削減され、LLMが自身の推論知識を組織化できる能力を示した。
• スキル例のリポジトリをコンテキスト内例として用いることで、GSM8KおよびMATHベンチマークにおけるゼロショット精度が、GPT-4 やコード支援モデルを含む複数の強力なLLMで向上した。
• 性能向上は異なるLLMにわたって一貫しており、この手法がモデル固有ではなく、堅牢であることが示された。
• スキル例のリポジトリは人間が解釈可能であり、'vector_operations'、'trigonometric_calculations'、'combinatorics_knowledge' といった意味的で意味のある推論カテゴリを反映している。
• この手法はドメインに依存しないため、数学的推論を超えた分野への応用可能性も示唆している。