[論文レビュー] Enriching a Model's Notion of Belief using a Persistent Memory

Nora Kassner, Oyvind Tafjord+2 more|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 31被引用数 6

ひとこと要約

この論文は、事実的推論におけるグローバルな一貫性と正確性を向上させるために、事前学習言語モデル（PTLMs）に恒常的なBeliefBank記憶を追加することを提案している。矛盾する信念を解消するために重み付きSATソルバーを用い、既知の信念を文脈として再クエリするフィードバック機構を組み合わせることで、制約ベースの制御された設定において、一貫性と正確性の両面で顕著な向上が達成された。

ABSTRACT

Although pretrained language models (PTLMs) have been shown to contain significant amounts of world knowledge, they can still produce inconsistent answers to questions when probed, even after using specialized training techniques to reduce inconsistency. As a result, it can be hard to identify what the model actually "believes" about the world. Our goal is to reduce this problem, so systems are more globally consistent and accurate in their answers. Our approach is to add a memory component -- a BeliefBank -- that records a model's answers, and two mechanisms that use it to improve consistency among beliefs. First, a reasoning component -- a weighted SAT solver -- improves consistency by flipping answers that significantly clash with others. Second, a feedback component re-queries the model but using known beliefs as context. We show that, in a controlled experimental setting, these two mechanisms improve both accuracy and consistency. This is significant as it is a first step towards endowing models with an evolving memory, allowing them to construct a more coherent picture of the world.

研究の動機と目的

• 事前学習言語モデルの事実的答えにおける一貫性の欠如を是正すること。これは、信頼できる信念の帰属を妨げる。
• 再訓練を伴わずに、ノイズの多いPTLM出力からグローバルに一貫性のあるメンタルモデルを構築するシステムを開発すること。
• 恒常的記憶と推論メカニズムが、事実的質疑応答における一貫性と正確性を向上させることを検証すること。
• 論理的制約下でのモデルの一貫性を測定・評価可能な制御されたデータセットを構築すること。
• 記憶と推論を統合することで、進化する一貫性のある信念を持つシステムの基盤を築くこと。

提案手法

• 事実的質問に対する直接的な回答を格納する恒常的BeliefBankをPTLMに追加すること。
• 論理的制約に違反する回答を変更することで、信念の衝突を検出し解消する重み付きSATソルバーの使用。
• 既知の信念を文脈として用いてモデルを再クエリするフィードバック機構の実装により、回答品質の向上。
• 制約が事実間の論理的関係を定義する重み付き充足可能性（WSAT）問題として一貫性問題を定式化すること。
• 自信と一貫性のバランスを取るために、モデルと制約の重みを自動でキャリブレーションすること。
• 短い事実的文と明示的な論理的制約（例：「Xが鳥である → Xは翼を持つ」）を伴う制御された設定でシステムを適用すること。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わずに、恒常的記憶層がPTLMの事実的推論の一貫性と正確性を向上させることができるか？
• RQ2 重み付きSATソルバーは、モデルが提供する信念同士の衝突をどの程度効果的に解消できるか？
• RQ3 既知の信念を文脈として用いてモデルを再クエリすることで、回答品質はどの程度向上するか？
• RQ4 制約の定式化と重みのキャリブレーションは、システムのパフォーマンスにどのように影響するか？
• RQ5 シンプルな記憶ベースのシステムは、ノイズの多いPTLM出力から、世界の整合的メンタルモデルをどの程度正確に再構築できるか？

主な発見

• BeliefBankシステムは、論理的制約を伴う制御された実験環境において、一貫性と正確性の両方を顕著に向上させた。
• 重み付きSATソルバーは、論理的制約に違反する回答を変更することで、信念の衝突を効果的に解消した。
• 既知の信念を文脈として用いてモデルを再クエリするフィードバック機構により、回答品質が向上し、特に誤検出（偽陽性）の削減に寄与した。
• 推論とフィードバックの両方のメカニズムが、システムパフォーマンスの向上に独立して寄与した。
• 恒常的記憶層が、PTLMの出力からより一貫性がありグローバルに整合性のある事実の表現を構築するのに役立つことが示された。
• https://allenai.org/data/beliefbank で公開されたデータセットにより、一貫性と信念の整合性の再現可能な評価が可能になった。