[論文レビュー] RECKONING: Reasoning through Dynamic Knowledge Encoding

Zeming Chen, Gail Garfinkel Weiss+3 more|arXiv (Cornell University)|May 10, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文では、推論中に勾配更新を用いて文脈的知識をモデルパラメータにエンコードすることで、トランスフォーマー基盤言語モデルが動的文脈的知識に対して頑健に推論できるようにする二段階最適化手法Reckoningを提案する。関連する事実を素早く重みに記憶するよう学習することで、Reckoningは、特に干渉要因が多かったり、長い推論チェーンを含む状況下で、文脈内推論よりも最大4.5%の性能向上を達成する。

ABSTRACT

Recent studies on transformer-based language models show that they can answer questions by reasoning over knowledge provided as part of the context (i.e., in-context reasoning). However, since the available knowledge is often not filtered for a particular question, in-context reasoning can be sensitive to distractor facts, additional content that is irrelevant to a question but that may be relevant for a different question (i.e., not necessarily random noise). In these situations, the model fails to distinguish the knowledge that is necessary to answer the question, leading to spurious reasoning and degraded performance. This reasoning failure contrasts with the model's apparent ability to distinguish its contextual knowledge from all the knowledge it has memorized during pre-training. Following this observation, we propose teaching the model to reason more robustly by folding the provided contextual knowledge into the model's parameters before presenting it with a question. Our method, RECKONING, is a bi-level learning algorithm that teaches language models to reason by updating their parametric knowledge through back-propagation, allowing them to then answer questions using the updated parameters. During training, the inner loop rapidly adapts a copy of the model weights to encode contextual knowledge into its parameters. In the outer loop, the model learns to use the updated weights to reproduce and answer reasoning questions about the memorized knowledge. Our experiments on two multi-hop reasoning datasets show that RECKONING's performance improves over the in-context reasoning baseline (by up to 4.5%). We also find that compared to in-context reasoning, RECKONING generalizes better to longer reasoning chains unseen during training, is more robust to distractors in the context, and is more computationally efficient when multiple questions are asked about the same knowledge.

研究の動機と目的

• 文脈的知識における干渉要因の影響に対して感受性が強い文脈内推論の問題を解決すること。
• モデルに関連する事実と関係のない文脈的事実を区別する能力を学習させることで、推論の頑健性を向上させること。
• 推論中に外部知識をモデルのパラメータにエンコードできるように言語モデルを可能にすること、パラメトリック知識を模倣すること。
• 効果的な動的知識エンコードと推論を最適化するためのメタラーニングフレームワークを開発すること。
• 同じ知識について複数の質問に答える際の計算コストを低減し、より長い推論チェーンへの一般化を向上させること。

提案手法

• Reckoningは二段階最適化フレームワークを用いる：内側のループでは、言語モデル損失を用いて文脈的知識をモデルパラメータに素早く重み更新することでエンコードする。
• 外側のループでは、適応後のモデルがエンコードされた知識に基づいて正しく推論質問に答えるように、初期メタパラメータを最適化する。
• 内側ループの更新には、各層およびステップごとに学習された動的学習率を用い、適応効率を向上させる。
• この手法は、知識記憶と下流の推論精度の両方を同時に最適化するように、マルチホップ推論データセットで訓練される。
• 推論時、モデルは新しい事実を重みにエンコードするための数ステップの勾配更新を実行した後、質問に答える。
• フレームワークは、知識における言語モデルと質問における推論精度の両方を組み合わせた総損失を用いて、エンドツーエンドで訓練される。

Figure 1 : Our algorithm, Reckoning , solves reasoning problems by encoding external contextual knowledge into a model’s parameters through gradient updates. At inference time, Reckoning performs a few parameter updates using the gradients of a language modeling loss to encode the relevant facts. Th

実験結果

リサーチクエスチョン

• RQ1 文脈内プロンプティングに依存するのではなく、知識をモデルパラメータにエンコードすることで、言語モデルが文脈的知識に対してより頑健に推論できるように訓練できるか？
• RQ2 特に干渉要因が存在する状況下で、推論中に動的パラメータ適応を実施することで、標準的な文脈内推論よりも性能が向上するか？
• RQ3 知識がパラメトリックにエンコードされた場合、推論チェーンが長くなった際にモデルの一般化性能が向上するか？
• RQ4 内側ループで動的学習率を使用することで、モデル全体の推論性能にどのような影響を与えるか？
• RQ5 同じ知識について複数の質問が発生する場合、提案手法は文脈内推論よりも計算コストが低くなるか？

主な発見

• Reckoningは、3つのマルチホップ推論データセットにおいて、文脈内推論ベースラインより最大4.5%の推論精度向上を達成した。
• CLUTRR-SGデータセットでは、4ホップ推論チェーンで98.3%の精度、6ホップでは94.8%の精度を達成し、ゼロショットGPT-3.5を著しく上回った。
• 干渉要因が存在する状況でも、Reckoningは高い性能を維持した（例：5ホップProofWriterでは84.0%、GPT-3.5は45.3%に低下）。
• 内側ループで動的学習率を使用することで、固定学習率と比較して性能低下を34.2%低減した。特に長いチェーンでは、4ホップで45.5%の低下低減が得られた。
• 未観測の推論チェーン長への一般化が良好であり、同じ知識について複数の質問に答える際の計算コストも低かった。
• 特に干渉要因が存在する悪質な状況下で、微調整済みの文脈内推論やゼロショット/フェイシュットプロンプティングのGPT-3.5を上回った。

Figure 2 : The two-stage training process of Reckoning with an inner and outer loop.