[論文レビュー] TIDBD: Adapting Temporal-difference Step-sizes Through Stochastic Meta-descent

Alexandra Kearney, Vivek Veeriah+3 more|arXiv (Cornell University)|Apr 10, 2018

Model Reduction and Neural Networks参考文献 11被引用数 6

ひとこと要約

TIDBD は、特徴ごとに学習率を動的に調整できる、ベクトル化された適応的ステップサイズ手法を時系列差分（TD）学習に導入し、確率的メタ降下法を用いてステップサイズを増減可能にすることで、性能を向上させる。標準TDやスカラーベースの適応手法（例：AlphaBound や RMSprop）を上回り、定常的および非定常的予測タスクにおいてハイパーパrameterの選択に強く、ロボット制御の実世界タスクでも安定性を示す。

ABSTRACT

In this paper, we introduce a method for adapting the step-sizes of temporal difference (TD) learning. The performance of TD methods often depends on well chosen step-sizes, yet few algorithms have been developed for setting the step-size automatically for TD learning. An important limitation of current methods is that they adapt a single step-size shared by all the weights of the learning system. A vector step-size enables greater optimization by specifying parameters on a per-feature basis. Furthermore, adapting parameters at different rates has the added benefit of being a simple form of representation learning. We generalize Incremental Delta Bar Delta (IDBD)---a vectorized adaptive step-size method for supervised learning---to TD learning, which we name TIDBD. We demonstrate that TIDBD is able to find appropriate step-sizes in both stationary and non-stationary prediction tasks, outperforming ordinary TD methods and TD methods with scalar step-size adaptation; we demonstrate that it can differentiate between features which are relevant and irrelevant for a given task, performing representation learning; and we show on a real-world robot prediction task that TIDBD is able to outperform ordinary TD methods and TD methods augmented with AlphaBound and RMSprop.

研究の動機と目的

• TD 学習における手動によるステップサイズチューニングの課題に取り組み、性能と一般化性能に大きな影響を与えること。
• ステップサイズを動的に適応可能にすることで、非定常性を内蔵する TD 学習に対応し、増加および減少の両方を可能にする。
• 従来の教師あり学習で用いられていた IDBD を用いたベクトル化されたステップサイズ適応を、TD 学習へ拡張し、特徴ごとの学習率最適化を可能にする。
• 異なる特徴に対して関連性の高いものと低いものを区別することで、暗黙の表現学習が可能かどうかを評価する。
• TIDBD が実世界のロボット予測タスクにおいて、標準TDおよび既存の適応手法を上回ることを実証する。

提案手法

• IDBD（インクリメンタル・デルタ・バー・デルタ）を TD 学習へ一般化し、TIDBD（時系列差分 IDBD）を構築。ステップサイズの確率的メタ降下法を用いる。
• 特徴ごとに1つのステップサイズを持つベクトルを採用し、特徴単位での適応が可能となり、異なる学習率を用いることで表現学習を可能にする。
• 最近の重み更新の相関に基づくメタ勾配更新則を用い、各特徴のステップサイズを動的に調整することで、適応性を実現する。
• エリギビリティトレース（蓄積型および置換型の両方）を統合し、状態間で信用を伝搬させつつ、更新の時間的相関に基づいてステップサイズを適応させる。
• ステップサイズの適応速度を制御するメタパrameter θ を導入し、λ および θ の異なる値における感度分析を実施する。
• 重み更新が高相関であることを検出する相関ベースのメカニズムを用い、安定した更新パターンを示す特徴に対してはステップサイズを低減する。

実験結果

リサーチクエスチョン

• RQ1 特徴ごとのベクトル化された適応的ステップサイズ手法は、定常的および非定常的環境において、固定またはスカラーベースのステップサイズを用いた標準TDを上回ることができるか？
• RQ2 TIDBD の特徴ごとのステップサイズ適応は、関連する特徴に高い学習率を割り当てることで、関連性のある特徴と無関係な特徴を区別し、暗黙の表現学習を実現できるか？
• RQ3 TIDBD の性能は、標準TDが学習率 α に敏感であるのと比較して、メタパrameter θ の選択にどれほど敏感か？
• RQ4 TIDBD は、TD や AlphaBound や RMSprop といったベースライン手法と比較して、実世界のロボット予測タスクで優れた性能を発揮できるか？
• RQ5 蓄積型トレースと置換型トレースの両方を用いた場合、TIDBD の安定性および収束特性はどのように変化するか？

主な発見

• TIDBD は、すべてのテスト環境において、最適化された静的ステップサイズを用いた通常のTDを上回る性能を示した。
• 非定常的タスクでは、TIDBD が変化するダイナミクスに適応してステップサイズを調整し、非定常性に対して強い耐性を示した。
• TIDBD は関連する特徴と関係のない特徴を区別し、関連する特徴に高い学習率を割り当てることで、暗黙の表現学習を実現した。
• 実世界のロボット予測タスクでは、TIDBD は標準TDおよびスカラーベースの適応手法（例：AlphaBound）を、すべてのパrameter設定において上回った。
• TIDBD は、平均誤差の分散が著しく低く、標準TDが学習率 α に敏感であるのと比較して、メタパrameter θ に敏感ではないことが示された。
• 置換型トレースを用いる場合、最適でないメタステップサイズであっても、最適チューニング済みのTD手法と同等またはそれ以上の性能を達成したが、蓄積型トレースでは λ の値が高くなると不安定化する傾向が見られた。