[論文レビュー] Sample-Efficient Reinforcement Learning through Transfer and Architectural Priors

Benjamin Spector, Serge Belongie|arXiv (Cornell University)|Jan 7, 2018

Reinforcement Learning in Robotics参考文献 2被引用数 11

ひとこと要約

本論文では、関連する環境間で共有される表現を活用することで、サンプル効率の高い強化学習を実現するため、アーキテクチャ的およびトランスファーの事前知識を提案する。自動的に生成されたゲーム変種上で共有特徴エンコーダーを備えたディープQネットワークを訓練することで、標準的なDQNと比較して50倍のサンプル効率の向上を達成した。これは、構造的なインダクティブバイアスが、類縁だが新しいタスクにおいて学習ステップを著しく削減できることを示している。

ABSTRACT

Recent work in deep reinforcement learning has allowed algorithms to learn complex tasks such as Atari 2600 games just from the reward provided by the game, but these algorithms presently require millions of training steps in order to learn, making them approximately five orders of magnitude slower than humans. One reason for this is that humans build robust shared representations that are applicable to collections of problems, making it much easier to assimilate new variants. This paper first introduces the idea of automatically-generated game sets to aid in transfer learning research, and then demonstrates the utility of shared representations by showing that models can substantially benefit from the incorporation of relevant architectural priors. This technique affords a remarkable 50x positive transfer on a toy problem-set.

研究の動機と目的

• 関連する強化学習タスク間で共有される表現が、サンプル複雑性を著しく低減できるかどうかを調査すること。
• アーキテクチャ的 priors（例：共有特徴エンコーダー）が、ディープRLにおける強力な正のトランスファーを可能にできるかどうかを実証すること。
• 転移学習研究を促進するために、自動的にゲーム変種を生成するフレームワークを導入すること。
• 人間のようなサンプル効率と、現在のディープRLアルゴリズムが数百万ステップを要するというギャップを埋めること。
• 神経ネットワークが明示的な世界モデルを用いずに環境の構造的特徴を組み込むモデルに意識的な学習の可能性を検討すること。

提案手法

• 本研究では、共通する構造的性質（例：オブジェクトタイプ、報酬メカニズム）を持つ関連するグリッドワールド環境の集合を生成し、転移学習を可能にする。
• すべての変種で共有される畳み込み特徴エンコーダーを備えたディープQネットワークを訓練することで、パラメータ共有を強制し、共通の表現を学習する。
• 訓練の安定性とサンプル効率を向上させるために、ダブルDQNと経験再生、ターゲットネットワークを用いる。
• 転移は、新しいタスクで共有エンコーダーをファインチューニングし、目標性能に到達するまでの訓練ステップ数を測定することで評価する。
• ネットワークアーキテクチャを、注目マップや意味的報酬コンponentsといった既知の環境構造を反映させる形で設計することで、アーキテクチャ的 priors を組み込む。
• データ効率を向上させ、分布シフトを低減するために、オフラインでバッチ学習を用いる。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ的 priors は、関連する環境における強化学習のための訓練ステップ数を著しく削減できるか？
• RQ2 共有表現による転移学習は、ディープRLにおけるサンプル効率をどの程度向上できるか？
• RQ3 自動ゲームセット生成は、構造的な環境間で正の転移を実現するためにどの程度有効か？
• RQ4 明示的な世界モデルを用いずに構造的 priors を組み込んだモデルに意識的なアーキテクチャは、人間水準のサンプル効率を達成できるか？
• RQ5 観察された50倍のサンプル効率の向上は、アーキテクチャ的 priors によるものか、単に重み初期化やハイパーパramータチューニングによるものか？

主な発見

• 提案手法は、自動生成されたグリッドワールドタスクのセットにおいて、標準DQNと比較して50倍の訓練ステップ削減を達成した。これは強力な正のトランスファーを示している。
• 構造的に類似しているが同一ではないタスク間で、共有畳み込み特徴エンコーダーを用いることで、顕著なサンプル効率の向上が達成された。
• 注目と報酬構造の共有表現といったアーキテクチャ的 priors が、学習複雑性を桁違いに低減できることを示している。
• 通常の転移学習ベンチマークでは数パーセンテージの向上が顕著とされるが、本手法は1桁の向上を達成しており、RL分野における伝統的なベンチマークを大きく上回っている。
• アーキテクチャ的 priors を用いたモデルの性能は、人間水準の学習効率に近づき、このような priors が複雑なタスクにおけるサンプル効率の高いRLを実現する鍵である可能性を示唆している。
• 著者らは、環境の構造的知識をアーキテクチャに埋め込むモデルに意識的な学習が、人間水準のサンプル効率に到達するための実現可能な道筋であると結論づけている。