[論文レビュー] Toward negotiable reinforcement learning: shifting priorities in Pareto optimal sequential decision-making

Andrew Critch|arXiv (Cornell University)|Jan 5, 2017

Auction Theory and Applications参考文献 13被引用数 6

ひとこと要約

本稿は、エージェントが異なる信念を持つ状況において、パレート最適なマルチエージェント強化学習を実現するための新規フレームワークを提案する。予測精度に基づいて優先順位重みを動的に調整する再帰的ポリシー更新を導入し、信念の非均質性下では線形効用集約が失敗すること、およびエージェントが自身の信念を用いて行動を評価し、時間経過とともに優先順位を変化させる必要があることを示している。

ABSTRACT

Existing multi-objective reinforcement learning (MORL) algorithms do not account for objectives that arise from players with differing beliefs. Concretely, consider two players with different beliefs and utility functions who may cooperate to build a machine that takes actions on their behalf. A representation is needed for how much the machine's policy will prioritize each player's interests over time. Assuming the players have reached common knowledge of their situation, this paper derives a recursion that any Pareto optimal policy must satisfy. Two qualitative observations can be made from the recursion: the machine must (1) use each player's own beliefs in evaluating how well an action will serve that player's utility function, and (2) shift the relative priority it assigns to each player's expected utilities over time, by a factor proportional to how well that player's beliefs predict the machine's inputs. Observation (2) represents a substantial divergence from naïve linear utility aggregation (as in Harsanyi's utilitarian theorem, and existing MORL algorithms), which is shown here to be inadequate for Pareto optimal sequential decision-making on behalf of players with different beliefs.

研究の動機と目的

• 異なる信念と効用関数を持つ複数のエージェントに対してパレート最適な方策を設計する課題に対処すること。
• プレイヤーがその相違する事前分布を共通知識として持つAIシステムにおける協調的意思決定を形式化すること。
• 信念の非均質性下でも効率性と公平性を保証する再帰的ポリシー枠組みを開発すること。
• 信念の差異を伴うマルチエージェント設定において、標準的な線形効用集約（例：ハルサニーの定理）の限界を特定すること。
• 協調的AIシステムにおけるインcentive-compatible、学習可能で自然化された意思決定の基盤を構築すること。

提案手法

• 異なる事前分布の共通知識の下で、いかなるパレート最適方策も満たすべき再帰的条件を導出する。
• 凸解析と線形代数を用いて、各エージェントの自身の信念を用いてそのエージェントの行動効用を評価する必要があることを形式化する。
• 各エージェントのマシンの入力に対する予測精度に比例する時変動優先順位重み更新則を導入する。
• 導出された再帰的構造と単純な効用の線形結合を対比し、信念の非均質性下での不適切さを示す。
• POMDPに類似した設定における逐次的意思決定にこのフレームワークを適用し、異なる信念を持つエージェント間の協力をモデル化する。
• インcentive compatibility、自然化意思決定理論、および事前分布と効用の学習に関する考察へと分析を拡張する。

実験結果

リサーチクエスチョン

• RQ1 複数のエージェントが異なる信念と効用関数を持つ状況で、どのようにしてパレート最適なマシン方策を設計できるか？
• RQ2 信念の差異が共通知識である条件下で、パレート最適方策が満たすべき再帰的構造は何か？
• RQ3 エージェントが異なる信念を持つ場合、なぜ線形効用集約はパレート最適な逐次的意思決定に不十分なのか？
• RQ4 このような状況下で、各エージェントの期待効用に対する相対的優先順位は、時間経過とともにどのように変化すべきか？
• RQ5 このフレームワークは、協調的AIシステムにおけるインcentive compatibilityと学習にどのような意味を持つのか？

主な発見

• パレート最適方策は、各エージェントの自身の信念を用いて、行動がそのエージェントの効用関数をどの程度満たすかを評価する必要がある。
• 方策は、時間経過とともに、各エージェントの信念がマシンの入力をどの程度うまく予測できるかに比例して、エージェント間の優先順位重みを動的にシフトさせるべきである。
• ハルサニーの定理に従う単純な効用の線形集約は、エージェントが異なる信念を持つ場合、パレート最適性を達成できない。
• 導出された再帰的構造は、予測精度と個々の信念体系に整合させることで、効率性と公平性を保証する。
• このフレームワークは、信念の非均質性が標準的な効用集約からの逸脱を必要とすることを明らかにし、各エージェントの認識的視点と内部整合性を保つ必要があることを示している。
• 結果から、将来的な協調的AIシステムは、静的または対称的な重み付けではなく、動的で信念に敏感な優先順位メカニズムを組み込むべきであることが示唆される。