[論文レビュー] Modeling Friends and Foes

Pedro A. Ortega, Shane Legg|arXiv (Cornell University)|Jun 30, 2018

Advanced Bandit Algorithms Research参考文献 31被引用数 4

ひとこと要約

本稿では、エージェントと環境の相互作用を情報制約付きの一回限りのゲームとみなすことにより、完全に友好的なものから完全に敵対的なものまでの連続的で情報理論的な枠組みを導入し、環境の態度をモデル化する。制限付き合理主義とラグランジュ最適化を用いて、エージェントおよび環境の最適均衡戦略を導出する。単純なバンディット設定においても、異なる態度のもとで非自明で行動的に異なる戦略が出現することが示された。

ABSTRACT

How can one detect friendly and adversarial behavior from raw data? Detecting whether an environment is a friend, a foe, or anything in between, remains a poorly understood yet desirable ability for safe and robust agents. This paper proposes a definition of these environmental "attitudes" based on an characterization of the environment's ability to react to the agent's private strategy. We define an objective function for a one-shot game that allows deriving the environment's probability distribution under friendly and adversarial assumptions alongside the agent's optimal strategy. Furthermore, we present an algorithm to compute these equilibrium strategies, and show experimentally that both friendly and adversarial environments possess non-trivial optimal strategies.

研究の動機と目的

• エージェントの非公開戦略に対する環境の反応の仕方を根拠として、環境の態度（友好的、敵対的、無関心）を連続的で数学的に厳密なスケールとして形式化すること。
• 両者（エージェントと環境）が制限付き合理主義のもとで合理的に行動するゲーム理論的モデルを構築し、情報制約のもとで最適化を行うこと。
• 変分推論とラグランジュ最適化を用いて、エージェントおよび環境の均衡戦略を導出し、異なる環境の態度のもとでの最適行動の計算を可能にすること。
• 実験的に、これらの戦略が環境の態度や情報制約の種類に応じて、質的に異なる行動を示すことを示すこと。
• AIセーフティの基盤を提供し、反応的環境を検出し、それに対して適切に対応できるようにすることで、不確実性や敵対的状況下での耐性を高めること。

提案手法

• エージェントと環境の相互作用を、エージェントの戦略が隠れパラメータを通じて環境の反応に依存する非公開戦略を伴う一回限りのゲームとしてモデル化する。
• 最大因果エントロピーの原則に従い、報酬、事前信念（Q(x), Q(z)）、および逆温度βによる制限付き合理主義を組み込んだ連合目的関数を導入する。
• 正規化制約のラグランジュ緩和を用いて、エージェントおよび環境の最適反応関数を導出し、期待報酬の指数関数を含む閉形式の式を得る。
• ボルウェルの不動点定理を適用して、戦略空間における一意な均衡の存在を証明し、安定な解が保証されることを示す。
• 連続的かつコン pact な戦略空間の連続性に起因して、反復的不動点アルゴリズムを用いて均衡戦略を計算可能であり、収束が保証される。
• 環境の反応性を変化させた二腕バンディット環境において、エージェントの戦略の変化が予測可能性にどのように反応するかを観察することで、モデルの実証的評価を行う。

実験結果

リサーチクエスチョン

• RQ1 友好的、敵対的、無関心といった環境の態度を、連続的かつ数学的に厳密に定義・定量化する方法は何か？
• RQ2 制限付き合理主義と情報非対称性の下で、エージェントと環境の両方が最適戦略をとる場合、その戦略はどのようなものか？
• RQ3 環境が友好的から敵対的へと変化するに従い、均衡戦略はどのように変化するのか？また、どのような行動パターンが出現するのか？
• RQ4 観察可能なデータから、環境が反応的（すなわちエージェントの戦略に応じて反応する）かどうかを検出できるか？その検出を形式化する方法は何か？
• RQ5 情報制約がエージェント戦略の最適性に与える影響は何か？また、環境の態度を正しくモデル化することで、非最適な性能を回避できるか？

主な発見

• 変分推論とラグランジュ最適化を用いて、制限付き合理主義のもとでエージェントおよび環境の均衡戦略を成功裏に導出し、閉形式の解が得られた。
• 均衡戦略は非自明な行動を示す。エージェントは環境の反応性に応じて戦略を調整し、友好的な仮定と敵対的仮定の下で明確に異なるパターンが出現する。
• 二腕バンディット実験において、決定論的戦略は敵対的環境（例：バンディット D）によってより深刻に悪用されたが、友好的な環境（例：バンディット B）では予測可能な行動が報酬を向上させた。
• 環境の反応性の程度は、エージェントの戦略と環境の反応の間の相互情報量と相関しており、情報の流れが大きいほど反応性が強いことを示している。
• 友好的な状況でも、環境の態度を正しくモデル化しないと、厳密に非最適な戦略が生じることを示しており、細かく分類された態度の識別が重要であることが強調される。
• 単一の実数パラメータ（β）を用いて、完全な友好的性から完全な敵対的性までの連続的スケールの態度をサポートする枠組みであり、滑らかな補間が可能である。