[論文レビュー] Learning Feature Relevance Through Step Size Adaptation in Temporal-Difference Learning

Alexandra Kearney, Vivek Veeriah+3 more|arXiv (Cornell University)|Mar 8, 2019

Machine Learning and Data Classification参考文献 22被引用数 7

ひとこと要約

本稿では、時系列差分（TD）学習における各特徴量のステップサイズを個別に適応的に調整することで、関連する特徴量を自動で同定・優先化するオンラインメタラーニング手法AutoTIDBDを提案する。AutoStepからの正規化を用いてIDBD（Incremental Delta-Bar-Delta）をTD学習に拡張することで、特徴量固有のステップサイズを動的に調整する手法となり、静的ステップサイズ手法を凌駕する安定的で適応的な表現学習を実現。非定常的かつ現実世界のロボット予測問題を含む多様なタスクで優れた性能を示す。

ABSTRACT

There is a long history of using meta learning as representation learning, specifically for determining the relevance of inputs. In this paper, we examine an instance of meta-learning in which feature relevance is learned by adapting step size parameters of stochastic gradient descent---building on a variety of prior work in stochastic approximation, machine learning, and artificial neural networks. In particular, we focus on stochastic meta-descent introduced in the Incremental Delta-Bar-Delta (IDBD) algorithm for setting individual step sizes for each feature of a linear function approximator. Using IDBD, a feature with large or small step sizes will have a large or small impact on generalization from training examples. As a main contribution of this work, we extend IDBD to temporal-difference (TD) learning---a form of learning which is effective in sequential, non i.i.d. problems. We derive a variety of IDBD generalizations for TD learning, demonstrating that they are able to distinguish which features are relevant and which are not. We demonstrate that TD IDBD is effective at learning feature relevance in both an idealized gridworld and a real-world robotic prediction task.

研究の動機と目的

• 強化学習における手動による特徴工学の課題に対処し、入力特徴量の関連性を自動で同定することを目的とする。
• 元来教師あり学習を想定していたIncremental Delta-Bar-Delta（IDBD）メタラーニングアルゴリズムを、順序付きでi.i.d.でないタスクに適応するための時系列差分（TD）学習へ拡張することを目的とする。
• 一般化性能の向上と手動でチューニングするハイパーパrameterへの依存を低減するために、特徴量ごとにステップサイズを適応的に調整するロバストでオンラインな手法を開発することを目的とする。
• 学習されたステップサイズが、合成環境および現実世界の環境において、関連する特徴量とノイズの混入した特徴量を効果的に区別できるかを評価することを目的とする。
• メタ学習されたステップサイズが、メタステップサイズおよび初期ステップサイズの多様な設定において、幅広い範囲のタスクで性能向上をもたらすかを実証することを目的とする。

提案手法

• 線形関数近似器を用いた一般化されたメタ勾配降下法の形式を導出することで、IDBDアルゴリズムをTD学習に適応化する。
• AutoStepからの正規化を組み込むことで、メタ更新の安定性を高め、ステップサイズ適応過程での発散を防ぐAutoTIDBDを導入する。
• 各特徴量のステップサイズを、そのステップサイズに関する予測誤差の勾配に基づいて調整するメタ勾配更新ルールを採用する。
• 代替的および蓄積的トレースを用いたオンポリシーTD(λ)にも適用可能であり、標準的なTD学習フレームワークと互換性を持つ。
• 有効ステップサイズがしきい値を超えた場合に過剰な更新を防ぐために、正規化スキームを採用する。
• 学習されたステップサイズの大きさを特徴量の重要性の指標として活用し、小さなステップサイズは信頼性が低いもしくはノイズの混入した特徴量を示す。

実験結果

リサーチクエスチョン

• RQ1 順序付き意思決定タスクにおける時系列差分学習に、IDBD風のステップサイズ適応のメタラーニングが成功裏に一般化可能か？
• RQ2 AutoTIDBDは、メタハイパーパrameterの多様な設定において、固定ステップサイズを用いた標準的なTD学習を上回る性能を示すか？
• RQ3 非定常的環境において、特徴量固有のステップサイズを学習することで、関連する特徴量とノイズの混入した特徴量を効果的に区別できるか？
• RQ4 初期ステップサイズおよびメタステップサイズの変動に対して、AutoTIDBDは標準的なTD手法と比較してどれほどロバストか？
• RQ5 学習されたステップサイズは、特徴量の重要性の代理指標として機能し得るか？また、学習システムにおける早期予測評価や内発的動機付けの支援に役立つか？

主な発見

• AutoTIDBDはグリッドワールド環境で特徴量の重要性を効果的に学習し、ノイズの混入した特徴量に対して顕著に小さいステップサイズを割り当てた。
• グリッドワールド環境では、ノイズの混入した特徴量のステップサイズが時間経過とともに一貫して減少し、関連する特徴量と明確に分離された。
• 現実世界のロボット予測タスクにおいて、AutoTIDBDは初期メタステップサイズおよび初期ステップサイズの設定に対する感受性が、標準的なTD学習よりも低かった。
• 特に特徴量の関連性が時間経過とともに変化する非定常環境では、チューニング済みの静的ステップサイズを用いたベースラインTDを上回る性能を示した。
• 学習されたステップサイズの大きさは、特徴量の信頼性と強く相関しており、不適切またはノイズの混入した入力を効果的に同定可能であった。
• AutoTIDBDにおける正規化により、ステップサイズの一時的な1を超える状態でも過剰な更新を防ぎ、安定した収束を確保した。