[論文レビュー] Paradoxes of rational agency and formal systems that verify their own soundness

Nik Weaver|arXiv (Cornell University)|Dec 12, 2013

Logic, Reasoning, and Knowledge参考文献 3被引用数 4

ひとこと要約

この論文は、ペアノ算術に帰属述語を拡張することで、合理的なエージェントにおけるパラドックスを解消する。これにより、形式的体系が自らの健全性を効果的に検証できるようになり、自己信頼や委任の制限を克服する。エージェントは完全な証明の実行を必要とせず、証明可能性に基づいて行動できるため、AI推論および階層的エージェント連携における問題が解消される。

ABSTRACT

We consider extensions of Peano arithmetic which include an assertibility predicate. Any such system which is arithmetically sound effectively verifies its own soundness. This leads to the resolution of a range of paradoxes involving rational agents who are licensed to act under precisely defined conditions.

研究の動機と目的

• エージェントが自らの証明や他者の証明を信頼できないというパラドックスを解消すること。ただし、それらが健全であることは認識している。
• AIシステムが証明可能な条件に基づいて行動しなければならない場合に、ロウの定理およびゲーデルの第二不完全性定理がもたらす制限を克服すること。
• 自らの健全性を効果的に検証できる形式的体系を設計すること。これにより、健全性スキーム（⁎）を明言できないという限界を乗り越える。
• 階層的エージェントシステムにおいて、証明が長すぎて実行できない場合でも、証明可能な結果に基づいて行動を委任できることを実現すること。

提案手法

• ペアノ算術に帰属述語を追加し、自らの健全性について推論できる体系S*を構築する。
• 反復帰属作用素（□^κᵢ）に基づく異なるライセンス基準を持つエージェントM₁, M₂, ... の階層を導入する。
• ボックス則と証明可能性論理を用いて、M₁がM₂がその基準に従って行動することを証明できるならば、M₁はM₂の起動を正当化できることを導出する。
• 無限列の定数（κᵢ）を備えた形式的体系S*を用い、κᵢ = κᵢ₊₁ + 1 を満たすことで、より強い帰属レベルをモデル化する。
• 定理3.1および3.2を適用し、体系が文が証明可能であることを証明するならば、帰属述語のもとでその文の真であることをも asserting できることを示す。
• κᵢの値が未指定の大きな数であることに着目し、形式的な差異があるものの、ライセンス基準がエージェント間で実質的に同等であることを活用する。

実験結果

リサーチクエスチョン

• RQ1 証明可能である文を証明する体系が、その文が真であることをも結論づけられるような形式的体系を構築できるか？ これにより、自らの健全性を検証できるようになる。
• RQ2 完全な証明を実行する必要なく、条件の証明可能性に基づいて行動するAIエージェントをどのように設計できるか？
• RQ3 直接証明を検証できない場合でも、体系が自己検証的である限り、他のエージェントの証明を信頼できるか？
• RQ4 各エージェントが次のエージェントに、証明可能な成功条件に基づいて行動を委任できるようなエージェントの階層を構築できるか？
• RQ5 直接自らの健全性を主張できない形式的体系において、自然的かつ自己反映的信頼のパラドックスをどのように解消できるか？

主な発見

• 帰属述語を備えた拡張体系S*により、エージェントは自らの健全性を効果的に検証でき、ロウの定理の制限を回避できる。
• 証明が長すぎて実行できない場合でも、帰属作用素を用いることで、条件の証明可能性に基づいてエージェントをライセンス付けることができる。
• 体系により階層的委任が可能になる：M₁はM₂が目的を達成できる証明可能性を確認できれば、M₂を起動できる。M₁自身が証明を直接検証できない場合でも可能である。
• κᵢ = κᵢ₊₁ + 1 を満たす非標準的定数（κᵢ）の使用により、一貫性を保ちつつ帰属レベルの階層を構築できる。
• 体系は、すべてのA(n)のインスタンスが証明可能であることを証明するならば、帰属述語のもとで(∀n)A(n)を推論できることを保証することで、自己反映的整合性のパラドックスを解消する。
• エージェントが証明可能な結果に基づいて行動しなければならないAIにおける、行動の委任問題に対して、非標準的だが一貫性のある解決策を提供する。