[論文レビュー] Ontological Crises in Artificial Agents' Value Systems

Peter de Blanc|arXiv (Cornell University)|May 19, 2011

Logic, Reasoning, and Knowledge参考文献 2被引用数 6

ひとこと要約

この論文は、人工エージェントにおける本体的危機——ある本体論で定義された効用関数が、より正確な新しい本体論にアップグレードされた際に意味を失う状況——を扱う。Kullback-Leibler（KL）ダイバージェンスの最小化を用いた手法を提案し、4状態対5状態の通路モデルにおいて、効用関数の整合性を保ちながら本体論間のマッピングを実現。結果として、ほぼ同一の回復と直感的な目的の保存が達成された。

ABSTRACT

Decision-theoretic agents predict and evaluate the results of their actions using a model, or ontology, of their environment. An agent's goal, or utility function, may also be specified in terms of the states of, or entities within, its ontology. If the agent may upgrade or replace its ontology, it faces a crisis: the agent's original goal may not be well-defined with respect to its new ontology. This crisis must be resolved before the agent can make plans towards achieving its goals. We discuss in this paper which sorts of agents will undergo ontological crises and why we may want to create such agents. We present some concrete examples, and argue that a well-defined procedure for resolving ontological crises is needed. We point to some possible approaches to solving this problem, and evaluate these methods on our examples.

研究の動機と目的

• 人工エージェントが環境モデルをアップグレードまたは置き換える際の本体的危機の問題を特定・形式化すること。
• 古くからの本体論から、より正確な新しい本体論への効用関数の翻訳を、体系的かつ計算的に実行可能な方法で開発すること。
• エージェントが世界の概念的モデルに根本的な変化を経験しても、一貫した目的志向的行動を維持できることを保証すること。
• 概念的および本体的進化に対応できる価値整合型人工エージェントを構築する基盤を提供すること。

提案手法

• エージェントを有限状態モデルとしてモデル化し、モーターとセンサのアルファベットを定義し、状態遷移と出力を確率的行列で表現する。
• 2つの本体論（O₀ と O₁）の状態間のマッピング関数 φ を定式化し、効用関数の翻訳を実現する。
• コアとなる技術は、両方向の遷移行列と出力行列間のKullback-Leibler（KL）ダイバージェンスの和を最小化することである：∑ₓ DKL(T₁ˣ || φ⁻¹T₀ˣφ) + DKL(A₁ || φ⁻¹A₀φ) + ∑ₓ DKL(T₀ˣ || φT₁ˣφ⁻¹) + DKL(A₀ || φA₁φ⁻¹)。
• 勾配上昇法を用いてマッピング φ を最適化し、元のモデルの統計的構造を最もよく保つ解を求める。
• マッピングの品質は、φφ⁻¹ と φ⁻¹φ が恒等行列にどれほど近いかをチェックすることで評価され、可逆性と情報保存の度合いを示す。
• 本手法は、4状態の本体論から5状態の本体論へのマッピングを含む通路モデルでテストされ、変換後も効用関数が保存された。

実験結果

リサーチクエスチョン

• RQ1 人工エージェントが環境の本体論を置き換える・アップグレードする際、どのようにしてその効用関数を維持できるか？
• RQ2 異なる本体論の状態間のマッピングを、エージェントの目的を保つために有効とするための基準は何か？
• RQ3 本体論間のマッピングをどれほど効率的かつ可逆的に計算できるか？情報損失を最小限に抑えることは可能か？
• RQ4 エージェントの効用関数を、概念的枠組みから別の枠組みへ体系的に翻訳することは、目的の整合性を失わずに行えるか？
• RQ5 本体的シフトが人工知能における価値整合性に与える影響は何か？

主な発見

• 4状態対5状態の通路モデル間の最適マッピング φ は、KLダイバージェンスの合計が約 0.055 にまで低下し、本体論間の高精度な対応関係を示した。
• φφ⁻¹ が恒等行列に近く、非対角成分はほとんどが 0.15 未満であったため、強い可逆性と情報回復が示された。
• φ⁻¹φ もほぼ恒等行列の構造を示し、最大の非対角成分は約 0.36 にとどまり、マッピングがほぼ逆行列を備えていることが確認された。
• φ マッピングを効用関数に適用した後、エージェントは右端の状態に効用値 1 を割り当て、他のすべての状態に 0 を割り当て、右端に到達するという意図された目的を正確に再現した。
• この手法は、想定よりも長い通路という直感に反する状況においても、新しい状態を一貫してマッピングすることで、エージェントの目的を効果的に保存した。
• 結果として、情報理論的かつ体系的な手法が、有限状態モデルにおける本体的危機を解消でき、本体論の変化に伴う効用関数の意味論を保持できることを示した。