[論文レビュー] Do Language Models Have Beliefs? Methods for Detecting, Updating, and Visualizing Model Beliefs

Peter Hase, Mona Diab+6 more|arXiv (Cornell University)|Nov 26, 2021

Topic Modeling参考文献 28被引用数 15

ひとこと要約

この論文では、信念グラフと学習された最適化手法を用いて、言語モデル内の信念を検出・更新・可視化する手法を提案する。順序的・局所的・一般化可能な信念更新を実現するためのSLAG訓練目的を導入し、誤った信念の修正において、特に複数回の更新設定下で、学習された最適化手法が、標準のベースラインを上回ることを示した。論理的整合性が向上する。

ABSTRACT

Do language models have beliefs about the world? Dennett (1995) famously argues that even thermostats have beliefs, on the view that a belief is simply an informational state decoupled from any motivational state. In this paper, we discuss approaches to detecting when models have beliefs about the world, and we improve on methods for updating model beliefs to be more truthful, with a focus on methods based on learned optimizers or hypernetworks. Our main contributions include: (1) new metrics for evaluating belief-updating methods that focus on the logical consistency of beliefs, (2) a training objective for Sequential, Local, and Generalizing model updates (SLAG) that improves the performance of learned optimizers, and (3) the introduction of the belief graph, which is a new form of interface with language models that shows the interdependencies between model beliefs. Our experiments suggest that models possess belief-like qualities to only a limited extent, but update methods can both fix incorrect model beliefs and greatly improve their consistency. Although off-the-shelf optimizers are surprisingly strong belief-updating baselines, our learned optimizers can outperform them in more difficult settings than have been considered in past work. Code is available at https://github.com/peterbhase/SLAG-Belief-Updating

研究の動機と目的

• 論理的整合性と構造的性質に基づいて、言語モデルが信念に類似した状態を有しているかどうかを検出する実用的手法を開発すること。
• 完全な再訓練を伴わずに事実誤認を是正する信念更新技術を改善すること。特に、言い換えや含意に関する整合性と一般化性に焦点を当てる。
• 信念の相関関係を支援する解釈可能性とエラー分析を促進するための新しいインターフェース「信念グラフ」を導入すること。
• 正確性だけでなく、関連する信念間での論理的整合性の維持または回復能力についても、信念更新手法を評価すること。
• 信念操作の倫理的影響、特に誤った信念の是正と同時に有害な信念を誘発するリスクを検討すること。

提案手法

• モデル出力における言い換え、含意、論理的推移性の下での整合性を評価する指標を用いて、信念に類似した行動を検出する。
• 事実検証および質問応答データセットにおけるモデル予測から信念グラフを構築し、信念をノード、依存関係をエッジとして表現する。
• 順序的・局所的・一般化可能な（SLAG）目的関数を用いて、関連する文の間で整合性を保つように信念を更新する学習された最適化手法を訓練する。
• 標準の最適化手法を強力なベースラインとして用い、複数回の更新設定において、学習された最適化手法と比較することで一般化性とロバストネスを評価する。
• FEVERやLeapOfThoughtなどのデータセットに信念更新手法を適用し、論理的に関連する入力の予測の変化を測定することで、推移性と汚染の有無を評価する。
• 更新の意図しない副作用を検出するために、% Update-Transitivity や # 汚染された予測 といった指標を用いて信念の整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 言語モデルは、言い換えや含意の下で整合性を示すなど、信念に類似した性質をどの程度示しているか？
• RQ2 特に複数回の更新や順序的な設定下で、学習された最適化手法は標準の最適化手法に比べて、モデルの信念をどの程度効果的に更新できるか？
• RQ3 信念グラフは、モデルの予測間の論理的依存関係を正確に表現できており、構造的脆弱性を明らかにできるか？
• RQ4 1つの信念を更新すると、他の論理的に関連する信念にどのような影響が及ぶか。このプロセスはどの程度推移的か？
• RQ5 信念更新手法によるモデル行動の操作、特に有害な信念を誘発するリスクを含めた倫理的影響は何か？

主な発見

• SLAG訓練目的は、複雑な設定下で複数の信念を順次更新する学習された最適化手法の性能を顕著に向上させ、標準の最適化手法を上回った。
• 標準の最適化手法は予想に反って強力なベースラインを示し、単純な更新タスクではしばしば特化した学習された最適化手法を上回った。
• 信念グラフは、モデルの信念が非常に密接に接続されていることを示しており、一部の信念が数百もの他の信念に影響を与えている。LeapOfThoughtデータセットでは、95パーセンタイルのノードが5,000個以上のインエッジを持つことがわかった。
• FEVERでは66.64%、LeapOfThoughtでは24.38%の信念更新が完全な推移性を示しており、モデルの更新がしばしば一貫性のない信念の変化を引き起こしていることが示された。
• LeapOfThoughtデータセットでは、信念の更新によって最大2,752件の正しい予測が汚染された。これは、信念の更新が意図しない形で関係のない予測を損なう可能性があることを示している。
• 構築された信念グラフのすべての信念が接続されており、エッジのないノードは0%であった。これは、すべての信念が標的的な更新によって変更可能であり、信念編集の影響がシステム全体に及ぶことを示している。