[論文レビュー] Real-time tree search with pessimistic scenarios

Takayuki Osogami, Toshihiro Takahashi|arXiv (Cornell University)|Feb 28, 2019

Robotic Path Planning Algorithms参考文献 36被引用数 11

ひとこと要約

本論文では、所定の探索深さを超える決定論的で楽観的でないシナリオを用いることで、時間制約が厳しい状況下でも長時間スパンの計画を可能にするリアルタイムツリー探索手法を提案する。楽観的でない未来における分岐を排除することで、遠くの重要な出来事（例：爆弾の爆発、対戦相手の攻撃）を考慮した行動の効率的評価が可能となり、自己対戦による最適化により、NeurIPS 2018 Pommerman コンペティションで1位および3位を獲得し、ベースラインエージェントに対して99.7％の勝率を達成した。

ABSTRACT

Autonomous agents need to make decisions in a sequential manner, under partially observable environment, and in consideration of how other agents behave. In critical situations, such decisions need to be made in real time for example to avoid collisions and recover to safe conditions. We propose a technique of tree search where a deterministic and pessimistic scenario is used after a specified depth. Because there is no branching with the deterministic scenario, the proposed technique allows us to take into account the events that can occur far ahead in the future. The effectiveness of the proposed technique is demonstrated in Pommerman, a multi-agent environment used in a NeurIPS 2018 competition, where the agents that implement the proposed technique have won the first and third places.

研究の動機と目的

• 部分的に観測可能なマルチエージェント環境において、厳密な時間制約のもとでリアルタイムの逐次意思決定を扱う課題に対処すること。
• 大きな分岐係数と限られた計算時間がある中でも、効果的な長期計画を可能にすること。
• 探索深さを超えた決定論的で楽観的な未来をシミュレートすることで、安全が重要な状況での意思決定品質を向上させること。
• 自己対戦を用いて楽観的でない程度を最適化し、競争的なマルチエージェント環境における性能と耐性のバランスを取ること。

提案手法

• この手法は所定の深さまでツリー探索を実行し、その後、複数の不利な行動が同時に発生すると仮定する決定論的で楽観的なシナリオの下でリーフノードを評価する。
• 楽観的でないシナリオは現実的ではないが、複数のエージェントが非決定論的だが決定論的な順序で行動できるように設計されており、爆弾の爆発や相手の攻撃といった重要な将来の出来事を捉える。
• シナリオを決定論的とすることで、探索深さを超えての分岐を回避し、リアルタイム制約の中で長期的結果のより深い探査が可能になる。
• 楽観的でない程度は自己対戦を用いて調整され、さまざまな楽観的でない程度でのエージェントのパフォーマンスを評価し、最適な設定を同定する。
• この手法は、最適化された楽観的でない程度を用いたツリー探索戦略を採用した2つのPommermanエージェント—HakozakiJunctionsとdypm-final—に実装されている。

実験結果

リサーチクエスチョン

• RQ1 決定論的で楽観的なシナリオは、時間制約が厳しいリアルタイムツリー探索において、効果的な長時間スパンの計画を可能にするか？
• RQ2 部分観測可能で同時に行動するエージェントが存在するマルチエージェント環境において、楽観的でない程度の影響は何か？
• RQ3 計算時間の制限が極めて厳しい状況下で、確率的サンプリングよりも楽観的でないシナリオが優れた性能を発揮するか？
• RQ4 自己対戦は、競争的な環境における全体的なパフォーマンスを最大化するための楽観的でない程度の調整に有効な手法か？

主な発見

• 楽観的でない程度が3に設定されたdypmエージェントは、SimpleAgentベースラインに対して99.7％の勝率を達成し、1,000試合中997試合に勝利した。
• 楽観的でない程度を0から3に増加させることで、SimpleAgentに対する勝率は92.6％から99.7％に向上し、顕著な性能向上が確認された。
• より強いベースライン（楽観的でない程度が0のdypm）に対しては、楽観的でない程度が3に設定された場合、勝率が36.9％から77.8％に上昇し、強力な相手に対しても有効であることが示された。
• 楽観的でない程度を3を超えてさらに増加させると、敗北数は減少したが引き分け数が増加し、効果の逓減とハイパーパrameterの慎重な調整の必要性が示された。
• パフォーマンスは選択された楽観的でない程度に極めて敏感であり、最適な結果を得るには自己対戦による最適化が不可欠であることが確認された。