[論文レビュー] Temporal-Difference Networks

Richard S. Sutton, B. K. Tanner|arXiv (Cornell University)|Apr 21, 2015

Bayesian Modeling and Causal Inference参考文献 12被引用数 56

ひとこと要約

この論文は、価値関数にとどまらず、異なる種類の未来イベントにわたる関連予測を可能にするTD学習の一般化である時系列差分（TD）ネットワークを紹介する。異なる意味的意味を持つ予測をTD更新を通じて結びつけることで、固定間隔での予測、行動に条件づけられた予測、さらには予測状態表現を用いて非マルコフ問題を解く能力を獲得し、モンテカルロ法よりも優れたデータ効率と収束性を示している。

ABSTRACT

We introduce a generalization of temporal-difference (TD) learning to networks of interrelated predictions. Rather than relating a single prediction to itself at a later time, as in conventional TD methods, a TD network relates each prediction in a set of predictions to other predictions in the set at a later time. TD networks can represent and apply TD learning to a much wider class of predictions than has previously been possible. Using a random-walk example, we show that these networks can be used to learn to predict by a fixed interval, which is not possible with conventional TD methods. Secondly, we show that if the inter-predictive relationships are made conditional on action, then the usual learning-efficiency advantage of TD methods over Monte Carlo (supervised learning) methods becomes particularly pronounced. Thirdly, we demonstrate that TD networks can learn predictive state representations that enable exact solution of a non-Markov problem. A very broad range of inter-predictive temporal relationships can be expressed in these networks. Overall we argue that TD networks represent a substantial extension of the abilities of TD methods and bring us closer to the goal of representing world knowledge in entirely predictive, grounded terms.

研究の動機と目的

• 時系列差分学習を価値関数の予測を超えて、異なる意味的意味を持つ予測の広いクラスへと拡張すること。
• TDネットワークが、従来のTD手法では不可能な固定間隔先の予測（例：特定の遅延後に予測する未来の観測ビット）を学習できるかどうかを調査すること。
• マルコフ環境における行動に条件づけられたTDネットワークの学習効率を、モンテカルロ法と比較して評価すること。
• TDネットワークが非マルコフ意思決定問題を解ける予測状態表現を学習できるかどうかを評価すること。
• データに基づいた、多様な意味的意味を持つTD定義の予測の表現的潜在能力、特に世界知識を予測的かつ根拠のある形で表現する能力を探索すること。

提案手法

• TDネットワークは、ターゲット関係（広義の意味的意味）を定義する質問ネットワークと、計算的更新プロセスを定義する回答ネットワークから構成される。
• ネットワーク内の各ノードは、特定の未来イベントのスカラー予測を表し、リンクは他の予測や観測との間で望ましい時間的関係を符号化する。
• 回答ネットワークは、時間的差分学習ルールに従って予測を更新し、各予測は後続の時刻における他の予測から導かれるターゲットに基づいて更新される。
• 行動に条件づけられた予測のため、質問ネットワークは行動の系列に条件づけられ、これにより将来的なイベントの予測がより効率的に学習可能になる。
• 非マルコフ設定では、履歴に基づく特徴（過去の予測を含む）を用いて状態情報の再構築が行われる。
• 学習アルゴリズムは、ロジスティック活性化関数と調整可能なステップサイズパラメータを用いた確率的勾配降下法を用い、予測誤差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 従来のTD手法では不可能な状況において、TDネットワークは、例えば特定の遅延後に予測する未来の観測ビットを、固定ステップ数先に予測できるか？
• RQ2 行動に条件づけられた予測の関係を学習することで、モンテカルロ法と比較して学習効率が著しく向上するか？
• RQ3 部分観測性のもとで、TDネットワークが非マルコフ問題の正確な解法を可能にする予測状態表現を学習できるか？
• RQ4 質問ネットワークが予測の意味的意味を定義する役割を果たす場合、それが学習プロセスにどのように影響を与えるか？
• RQ5 多様な意味的意味を持つTD定義の予測は、どれほど世界知識を根拠のある予測的形で表現できるか？

主な発見

• TDネットワークは、標準的なTD学習では不可能な、固定間隔（例：2、3、または4ステップ先）での未来の観測ビットの予測を成功裏に学習した。
• 行動に条件づけられたTDネットワークは、モンテカルロ法よりも著しく高速に学習を達成し、バッチ更新バージョンでは、すべてのデータサイズで予測誤差が統計的に有意に低減された。
• 観測可能なのは終状態ビットのみである非マルコフ的なランダムウォークの設定では、TDネットワークが予測状態表現を学習し、タスクを正確に解けるようにした。予測誤差は時間経過とともにゼロに近づいた。
• 深さ4のTDネットワークの学習曲線は、ほぼゼロのRMSEに収束しており、小さなステップサイズでは誤差に特徴的な「盛り上がり」（bump）が観察された。これは、異なる長さの予測を異なる速度で学習している可能性がある。
• 異なるネットワークの深さとステップサイズパラメータにおいても、繰り返し実行された50,000ステップの間で一貫した誤差低減が見られ、ロバスト性を示した。
• 非マルコフ設定においても、従来の手法を上回る性能を示したため、予測状態表現学習への応用の可能性が強く示唆された。