[論文レビュー] Universal Reinforcement Learning

Vivek F. Farias, Ciamac C. Moallemi+2 more|ArXiv.org|Jul 20, 2007

Computability, Logic, AI Algorithms参考文献 15被引用数 4

ひとこと要約

本稿では、Lempel-Zivデータ圧縮にインspiredされた、未知の環境における有限記憶依存性を持つ最適制御のための普遍的強化学習手法、アクティブLZアルゴリズムを提案する。未来の結果が行動と観測の有界な履歴に依存する場合、文脈木モデリングと適応的探索を用いて、システム構造や記憶長の事前知識なしに最適方策に収束する。この手法は、漸近的平均コスト最適性を保証する。

ABSTRACT

We consider an agent interacting with an unmodeled environment. At each time, the agent makes an observation, takes an action, and incurs a cost. Its actions can influence future observations and costs. The goal is to minimize the long-term average cost. We propose a novel algorithm, known as the active LZ algorithm, for optimal control based on ideas from the Lempel-Ziv scheme for universal data compression and prediction. We establish that, under the active LZ algorithm, if there exists an integer $K$ such that the future is conditionally independent of the past given a window of $K$ consecutive actions and observations, then the average cost converges to the optimum. Experimental results involving the game of Rock-Paper-Scissors illustrate merits of the algorithm.

研究の動機と目的

• 未知の有限記憶依存性を持つ環境において、長期的な平均コスト最適性を達成する強化学習アルゴリズムの開発。
• システムの遷移カーネルや記憶長Kの事前知識を不要にする。
• 普遍的データ圧縮（Lempel-Ziv）と動的計画法の原則を組み合わせ、モデルフリーな最適制御を実現する。
• 弱い仮定のもとで、最適平均コストへの収束に関する理論的保証を確立する。
• 有界な履歴依存性を持つ部分観測または非マルコフ的環境において学習を可能にする。

提案手法

• アクティブLZアルゴリズムは、Lempel-Zivにインspiredされた文脈木を用いて、過去の行動と観測を条件とした将来の観測の条件付き分布をモデル化する。
• 行動と観測の観測シーケンスに適応する成長する木構造を維持し、遷移確率の推定値を更新する。
• アルゴリズムは、推定された最適行動の活用と木構造内の訪問回数が少ない文脈の探索をバランスさせる適応的探索を実行する。
• 時間に依存する割引率α（1に近づく）を用いた割引価値反復フレームワークを採用し、長期的最適性を保証する。
• 時間枠を段階的に拡大するダブルイング・トリック方式を用いて、αの事前知識なしに平均コスト最適性を達成する。探索レートを調整することで実現する。
• Borel-Cantelliの補題と集中不等式を用いて、高確率で部分最適行動が有限回しか選択されないことを示す。

実験結果

リサーチクエスチョン

• RQ1 システムの遷移カーネルや記憶長の事前知識なしに、強化学習アルゴリズムが漸近的平均コスト最適性を達成可能か？
• RQ2 普遍的データ圧縮の原則を、未知の環境における最適制御問題にどのように適応できるか？
• RQ3 環境の記憶構造にどのような条件を課すと、最適方策への収束が保証されるか？
• RQ4 文脈木に基づく適応的探索戦略は、強化学習において長期的最適性を保証できるか？
• RQ5 提案されたアルゴリズム下で、部分最適行動の割合がゼロに収束する速度はいかほどか？

主な発見

• 環境の将来が、K個の連続する行動と観測の有限ウィンドウに条件付き独立である場合、アクティブLZアルゴリズムは漸近的平均コスト最適性を保証する。
• 部分最適行動が選択される時間の割合は、O((1/log T)^c)（c < 1）の速度でゼロに収束する。これは、遅いが保証された収束を示している。
• 割引率αや記憶長Kの事前知識なしに、βk = Ω(1/log log k) を用いたダブルイング・トリック方式により最適性を達成する。
• 理論的分析により、高確率で、k番目のエポックでは、グリーディ行動が高々 O(2^k * (log log 2^k)^3 / log 2^k) 回の時間ステップで部分最適であることが示され、長期的最適性が保証される。
• 未知のシステム構造に対してもロバストであり、有限記憶相手を伴うグーチョキパー問題や、固定デコーダを用いた共同ソースチャネル符号化問題などに応用可能である。
• LZに基づく文脈木をコンテキストツリー重み付け法に置き換えることで、収束速度の向上が期待できる。