[論文レビュー] Learning for Adaptive Real-time Search

Vadim Bulitko|ArXiv.org|Jul 6, 2004

Artificial Intelligence in Games参考文献 19被引用数 23

ひとこと要約

本稿では、アダプティブな先行探索計画とヒューリスティック関数学習を密接に統合する新しい学習リアルタイム探索アルゴリズムγ-Trapを提案する。動的かつ適応的に先行探索の深さを調整し、先行探索方針に特化したヒューリスティックを学習することで、スライディングタイルパズルの実験において、LRTA*、重み付きLRTA*、バウンデッドLRTA*、FALCONSと比較して収束速度が5〜30倍向上し、メモリ使用量が低減され、解の安定性が著しく向上した。

ABSTRACT

Real-time heuristic search is a popular model of acting and learning in intelligent autonomous agents. Learning real-time search agents improve their performance over time by acquiring and refining a value function guiding the application of their actions. As computing the perfect value function is typically intractable, a heuristic approximation is acquired instead. Most studies of learning in real-time search (and reinforcement learning) assume that a simple value-function-greedy policy is used to select actions. This is in contrast to practice, where high-performance is usually attained by interleaving planning and acting via a lookahead search of a non-trivial depth. In this paper, we take a step toward bridging this gap and propose a novel algorithm that (i) learns a heuristic function to be used specifically with a lookahead-based policy, (ii) selects the lookahead depth adaptively in each state, (iii) gives the user control over the trade-off between exploration and exploitation. We extensively evaluate the algorithm in the sliding tile puzzle testbed comparing it to the classical LRTA* and the more recent weighted LRTA*, bounded LRTA*, and FALCONS. Improvements of 5 to 30 folds in convergence speed are observed.

研究の動機と目的

• 理論的リアルタイム探索と、深く先行探索を行う高パフォーマンスなエージェントの間のギャップを埋める。
• 学習リアルタイム探索エージェントの収束速度、メモリ効率、解の安定性を向上させる。
• 学習中に探索と活用のトレードオフをユーザーが制御可能にする。
• ヒューリスティック学習と先行探索に基づく計画を統合し、より合理的で適応的な意思決定プロセスを構築する。
• 性能と収束行動の両面で、既存のLRTS手法を上回る安定的で効率的なアルゴリズムを開発する。

提案手法

• 先行探索に基づく意思決定方針に最適化されたヒューリスティック関数を学習するγ-Trapというアルゴリズムを提案する。
• 状態ごとに信頼度の閾値に基づいて動的に深さを調整する、アダプティブな先行探索深さ選択を採用する。
• バックトラッキング機構を用いてヒューリスティック推定値を精緻化し、収束の安定性を向上させる。
• 探索と活用のトレードオフを制御するパラメータγを導入し、ユーザーが速度と解の品質のバランスを定義可能にする。
• 先行探索の結果を組み込んだ修正された値更新ルールを適用し、計画モジュールと整合性を保つヒューリスティック推定値を更新する。
• 収束と安定性を保証するため、ヒューリスティック値に上限を維持する。バウンデッドLRTA*と同様の仕組みだが、性能が向上している。

実験結果

リサーチクエスチョン

• RQ1 先行探索計画とヒューリスティック学習を統合することで、学習リアルタイム探索エージェントが著しく高速な収束を達成できるか？
• RQ2 固定深さの先行探索と比較して、アダプティブな先行探索深さ選択は収束速度と安定性を向上させるか？
• RQ3 学習リアルタイム探索エージェントにおいて、探索と活用のトレードオフを効果的に制御できるか？
• RQ4 学習と計画の統合は、リアルタイム探索における解の品質とメモリ使用量にどのような影響を与えるか？
• RQ5 学習アルゴリズムは、既存手法で見られる振動を回避しながら、高速な収束と安定したパフォーマンスを達成できるか？

主な発見

• スライディングタイルパズルの実験において、γ-TrapはLRTA*、重み付きLRTA*、バウンデッドLRTA*、FALCONSと比較して収束速度が5〜30倍向上した。
• バックトラッキングを導入することで、γ-TrapはSOD（解の振動）指標をほぼ5倍、IAE（絶対誤差積分）を14倍以上改善した。
• バックトラッキング機構が、γ-Trapの優れた学習安定性と収束速度の主因であり、バックトラッキングなしの変種（gTrap）は重み付きLRTA*と同等の性能であった。
• LRTA*やバウンデッドLRTA*と比較して、γ-Trapは顕著に低いメモリ要件を維持しながら、収束の保証を保持した。
• アルゴリズムは安定した収束行動を示し、試行間での解のコストの振動が最小限に抑えられ、バウンデッドLRTA*やFALCONSでさえも下回る安定性指標を達成した。
• 最初の試行では重み付きLRTA*よりわずかに性能が劣るが、繰り返し試行における収束速度と安定性の顕著な向上を考えれば、このトレードオフは妥当である。