[論文レビュー] Rotation, Translation, and Cropping for Zero-Shot Generalization

Chang Ye, Ahmed Khalifa+2 more|arXiv (Cornell University)|Jan 27, 2020

Reinforcement Learning in Robotics参考文献 25被引用数 10

ひとこと要約

本論文は、2Dアーケードゲームで訓練された深層強化学習エージェントにおいて、視覚的観測の回転、平行移動、クロッピングを施すことで、ゼロショット一般化性能が著しく向上することを提案している。これらの変換を通じてエージェント中心の前向き視点を採用することで、最小限の訓練データでも未学習の手続き的生成されたレベルで最大90％の成功を達成し、固定視点アプローチを上回る性能を発揮する。

ABSTRACT

Deep Reinforcement Learning (DRL) has shown impressive performance on domains with visual inputs, in particular various games. However, the agent is usually trained on a fixed environment, e.g. a fixed number of levels. A growing mass of evidence suggests that these trained models fail to generalize to even slight variations of the environments they were trained on. This paper advances the hypothesis that the lack of generalization is partly due to the input representation, and explores how rotation, cropping and translation could increase generality. We show that a cropped, translated and rotated observation can get better generalization on unseen levels of two-dimensional arcade games from the GVGAI framework. The generality of the agents is evaluated on both human-designed and procedurally generated levels.

研究の動機と目的

• 回転、平行移動、クロッピングといった知覚的変換が、深層強化学習エージェントにおけるゼロショット一般化性能を向上させるかどうかを調査すること。
• 固定された静的第三人称視点が、ビデオゲームにおけるDRLの一般化を妨げるという仮定に挑戦すること。
• これらの変換が、人間が設計したレベルと手続き的生成されたレベルの両方に対して、どの程度有効であるかを評価すること。
• 入力表現が、強固で一般化可能な方策を可能にする上で、極めて重要な役割を果たすことを示すこと。
• 強化学習における観測空間設計のための、実用的でデータ拡張にインspiredされた設計原則を形式化すること。

提案手法

• 著者らは、トレーニング中におけるDRLエージェントの視覚入力に対して、データ拡張技術（回転、平行移動、クロッピング）を適用する。
• 観測空間を変換し、エージェントが常に前を向くエージェント中心の第一人称視点を模倣する。
• エージェントはGVGAIフレームワークの5つのレベルの小さなセットを用いてA2Cアルゴリズムで訓練される。
• ゼロショット一般化を評価するために、人間が設計したレベルと手続き的生成されたテストレベルの両方で性能を評価する。
• アーキテクチャの変更を避けて、一般化への影響を分離するため、入力変換にのみ焦点を当てる。
• 転送性を評価するために、ゼルダ、ソーラーフォックス、ボールダッシュを含む複数のゲームでアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 回転、平行移動、クロッピングによる入力観測の変換が、DRLエージェントにおけるゼロショット一般化性能を向上させるか？
• RQ2 単純な知覚的変換が、標準的な固定第三人称視点よりも著しく優れた一般化性能をもたらすことができるか？
• RQ3 これらの変換の性能は、グローバル状態依存性の程度が異なるゲーム間でどのように変化するか？
• RQ4 これらの技術は、限られた訓練データで学習された方策の頑健性の欠如をどの程度軽減するか？
• RQ5 これらの入力レベルの修正は、一般化性能を向上させるために、アーキテクチャ的・アルゴリズム的革新の代替として実用的で低コストな選択肢として機能できるか？

主な発見

• 回転、平行移動、クロッピングを用いて訓練されたエージェントは、5つのレベルでのみ学習したにもかかわらず、未学習の手続き的生成されたレベルで最大90％の成功を達成した。
• 本手法は、特に高い確率的性質を持つ環境において、標準的な固定第三人称観測設定を著しく上回った。
• 効果は、ゼルダやソーラーフォックスのような、局所的なオブジェクト相互作用がゲームプレイを支配するゲームで顕著であった。
• グローバルな状況認識を必要とするゲーム（敵が時間とともに強くなるなど）では、クロッピングが文脈情報の喪失により性能を低下させた。
• 方向性が明確に定義されていないゲームでは、回転が効果を発揮しなかったことから、回転はエージェントの向きの意味論に依存することがわかった。
• ニューラルネットワークはしばしば関係のない詳細（例：スコアボード）に注目していたため、顕著な特徴に焦点を当てるために注意メカニズムや選択的フィルタリングの導入が求められることが示唆された。