[論文レビュー] Mind model seems necessary for the emergence of communication

Lorincz, A., Gyenes, V.+2 more|ArXiv.org|Nov 3, 2006

Reinforcement Learning in Robotics参考文献 9被引用数 6

ひとこと要約

本稿では、事前の記号的合意がなく、心のモデル化を用いた強化学習を用いて、2つのエージェント間で通信がどのように出現するかを調査している。基本的な相互モデル化では不十分であることが示され、他者の行動と意図の両方をモデル化することが、迅速な記号意味の一致を実現するために不可欠である。一方、意図追跡を含めすぎると学習が妨げられることがある。

ABSTRACT

We consider communication when there is no agreement about symbols and meanings. We treat it within the framework of reinforcement learning. We apply different reinforcement learning models in our studies and simplify the problem as much as possible. We show that the modelling of the other agent is insufficient in the simplest possible case, unless the intentions can also be modelled. The model of the agent and its intentions enable quick agreements about symbol-meaning association. We show that when both agents assume an `intention model' about the other agent then the symbol-meaning association process can be spoiled and symbol meaning association may become hard.

研究の動機と目的

• 自律的エージェント間で事前の記号的合意がなくても通信が出現するための最小限の条件を調査すること。
• 強化学習において、相互行動モデル化のみで記号意味の関連付けが十分であるかどうかを検討すること。
• 意図モデル化が通信出現の加速または遅滞に果たす役割を評価すること。
• エージェントモデル化の深さ（1ステップ vs. 2ステップ）が学習効率および収束に与える影響を調査すること。
• エージェントが対立するインcentiveや通信コストを持つ場合に、通信が出現するかどうかを明らかにすること。

提案手法

• エージェントが報酬に基づいて信号を発信し、解釈するように学習する強化学習問題として通信を定式化する。
• 通信の意図度や信号の好み（例：α, β, p₁, p₂, qₓ, qᵧ）をパラメータにもつ確率的方策としてエージェントをモデル化する。
• 1ステップおよび2ステップの心のモデル化を導入：エージェントは相手の方策を推定し、予測された反応に基づいて最適に行動する。
• 異なるモデル化仮定の下での最適方策の解析的導出を用いて、学習結果を比較する。
• 理論的予測の妥当性を検証するために、シミュレーションでSARSAアルゴリズムを用いて価値関数の学習を行う。
• 観測された行動の相対頻度（例：p̂₁ = 状態1におけるXの回数 / 通信エピソードの総数）を用いて方策パラメータを推定する。

実験結果

リサーチクエスチョン

• RQ1 相手の行動のみをモデル化し、意図をモデル化しない場合に通信が出現するか？
• RQ2 行動と意図の両方をモデル化することで、記号意味の関連付けの速度と成功にどのような影響があるか？
• RQ3 共通の利益があるにもかかわらず、相互行動モデル化ではなぜ通信の出現が保証されないのか？
• RQ4 モデル化の深さ（1ステップ対2ステップ）を高めると、学習の安定性および収束にどのような影響があるか？
• RQ5 意図追跡などのモデルの複雑化が、通信学習を劣化させる条件は何か？

主な発見

• 通信が有益でコストがかかる状況でも、基本的な相互行動モデル化では通信の出現が不十分である。
• 相手の意図を行動の他にモデル化することで、より迅速かつ信頼性の高い記号意味の一致が実現できる。
• 両エージェントが相手の意図をモデル化している場合、学習プロセスが不安定化し、通信の出現に失敗する可能性がある。
• 2ステップのモデル化（エージェントが自らの行動に対する相手の反応を予測する）は、通信コストがバランスしている場合にのみ最適戦略を導く。
• 意図をモデル化しない、または過剰にモデル化するエージェントは、コストが利益を上回る場合に通信を完全に停止する可能性がある。
• 解析的導出により、最適方策がp̂₁, q̂ₓ, βなどの推定パラメータに強く依存しており、通信が出現するのはこれらの推定が相互利益を支持する場合に限ることが示された。