[論文レビュー] Learning Good State and Action Representations via Tensor Decomposition

Chengzhuo Ni, Yaqi Duan+3 more|arXiv (Cornell University)|May 3, 2021

Tensor decomposition and applications参考文献 50被引用数 4

ひとこと要約

本稿では、連続状態・行動マルコフ決定過程（MDP）における経験的軌道から、低次元状態および行動表現を教師なしで学習するテンソル分解に基づく手法を提案する。カーネル化、重要度サンプリング、低タッカー・ランク近似を活用することで、拡散距離を保持し、潜在的なブロック構造を正確に近似する意味のある抽象化を同定し、下流の強化学習タスクにおける関数近似を効果的に行う。統計的誤差バウンドを伴う。

ABSTRACT

The transition kernel of a continuous-state-action Markov decision process (MDP) admits a natural tensor structure. This paper proposes a tensor-inspired unsupervised learning method to identify meaningful low-dimensional state and action representations from empirical trajectories. The method exploits the MDP's tensor structure by kernelization, importance sampling and low-Tucker-rank approximation. This method can be further used to cluster states and actions respectively and find the best discrete MDP abstraction. We provide sharp statistical error bounds for tensor concentration and the preservation of diffusion distance after embedding. We further prove that the learned state/action abstractions provide accurate approximations to latent block structures if they exist, enabling function approximation in downstream tasks such as policy evaluation.

研究の動機と目的

• 教師なしで連続状態および行動の意味のある低次元表現をMDPで学ぶ課題に対処すること。
• MDPの遷移カーネルに内在するテンソル構造を活用して表現学習を改善すること。
• クラスタリングと離散MDPの構築を通じて、状態および行動の正確な抽象化を可能にすること。
• 埋め込み空間におけるテンソル集中と拡散距離の保存に関する統計的誤差バウンドを提供すること。
• 学習された表現が潜在的な隠れブロック構造を近似し、下流の関数近似を支援すること。

提案手法

• 本手法は、状態および行動を再生核ヒルバート空間にマップすることで、カーネル化を適用し、遷移カーネルのテンソルベースモデリングを可能にする。
• 経験的軌道からの遷移カーネル推定を能率的に行うために重要度サンプリングが用いられ、推定の分散を低減する。
• カーネル化された遷移テンソルに対して低タッカー・ランク近似を適用し、低次元状態および行動表現を抽出する。
• 学習された表現に基づいて状態および行動をクラスタリングし、離散MDPの抽象化を形成する。
• 埋め込み空間におけるテンソル集中と拡散距離の保存に関する統計的保証が導出される。
• 本手法は、遷移カーネルに潜在的なブロック構造が存在する場合にそれらを回復可能であり、関数近似を支援するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 テンソル分解技術は、MDPにおける連続状態および行動の低次元表現を効果的に学習するために適応可能か？
• RQ2 学習された表現は、特に拡散距離を含め、MDPの幾何構造をどの程度正確に保持するか？
• RQ3 遷移カーネルに隠れたブロック構造をどの程度回復できるか。これにより、関数近似がどの程度正確に可能になるか？
• RQ4 提案フレームワークにおけるテンソル集中と表現忠実度の統計的誤差バウンドは何か？
• RQ5 学習された表現のクラスタリングにより、高品質な離散MDP抽象化を生成できるか？

主な発見

• 本手法は、カーネル化された遷移テンソルの推定を信頼できるものにするために、鋭い統計的誤差バウンドを達成する。
• 学習された表現は、拡散距離を高い精度で保持し、MDPの内在的な幾何構造を維持する。
• 遷移カーネルに潜在的なブロック構造が存在する場合、本手法はそれらを高い忠実度で回復し、効果的な関数近似を可能にする。
• 低タッカー・ランク近似により、コンactかつ意味のある表現が得られ、状態および行動のクラスタリングを支援する。
• 理論的保証により、限られた軌道データでも一貫性があり、正確な抽象化が得られることを示す。
• 実験的結果は、学習された表現が下流のポリシー評価タスクにおいて性能向上をもたらすことを示している。