[論文レビュー] Robot Navigation using Reinforcement Learning and Slow Feature Analysis

Wendelin Böhmer|arXiv (Cornell University)|May 4, 2012

Robotic Path Planning Algorithms参考文献 7被引用数 4

ひとこと要約

本論文では、ロボットナビゲーションにおける強化学習のため、原始的な動画データから低次元で時間的に滑らかな状態表現を抽出するために、スローフィーチャー分析（SFA）の使用を提案する。ランダムなカメラの映像シーケンスで訓練されたSFA特徴量は、最小二乗法による方策反復（LSPI）が、模擬環境で約80％の成功率を達成するのを可能にした。これは、SFAが強化学習エージェントのための線形近似可能な状態表現を生成する有効性を示している。

ABSTRACT

The application of reinforcement learning algorithms onto real life problems always bears the challenge of filtering the environmental state out of raw sensor readings. While most approaches use heuristics, biology suggests that there must exist an unsupervised method to construct such filters automatically. Besides the extraction of environmental states, the filters have to represent them in a fashion that support modern reinforcement algorithms. Many popular algorithms use a linear architecture, so one should aim at filters that have good approximation properties in combination with linear functions. This thesis wants to propose the unsupervised method slow feature analysis (SFA) for this task. Presented with a random sequence of sensor readings, SFA learns a set of filters. With growing model complexity and training examples, the filters converge against trigonometric polynomial functions. These are known to possess excellent approximation capabilities and should therfore support the reinforcement algorithms well. We evaluate this claim on a robot. The task is to learn a navigational control in a simple environment using the least square policy iteration (LSPI) algorithm. The only accessible sensor is a head mounted video camera, but without meaningful filtering, video images are not suited as LSPI input. We will show that filters learned by SFA, based on a random walk video of the robot, allow the learned control to navigate successfully in ca. 80% of the test trials.

研究の動機と目的

• 現実世界の強化学習において、高次元の原始的なセンサデータから意味のある環境状態を抽出する課題に対処すること。
• 現代の強化学習アルゴリズムに適した、強い線形近似特性を持つ状態表現を生成する教師なし手法を開発すること。
• スローフィーチャー分析（SFA）が、ビデオカメラのみを用いてナビゲーションタスクのための効果的な状態特徴を生成できるかを評価すること。
• SFAに基づく特徴量が、模擬的なロボットナビゲーションタスクにおいてLSPIアルゴリズムの性能を向上させることを実証すること。

提案手法

• SFAは、ヘッドマウントカメラが収集した動画フレームのランダムウォークに対して訓練され、高次元の画像データからゆっくり変化する特徴を学習する。
• 学習されたSFA特徴量は、線形関数近似を用いてナビゲーション方策を学習するLSPIアルゴリズムの状態表現として使用される。
• SFAは、時間的にゆっくり変化する特徴を最適化し、優れた線形近似特性を持つ三角関数多項式に収束する。
• LSPIアルゴリズムは、これらのSFA特徴量を入力として用い、単純なナビゲーション環境で累積報酬を最大化する方策を学習する。
• ロボットが環境をランダムウォークすることで、SFAの教師なし学習データが得られ、ラベル付き状態やタスク固有の監視を必要としない。
• 本手法は、SFAが三角関数関数に理論的に収束することに依存しており、これらは線形関数近似に優れていることが知られている。

実験結果

リサーチクエスチョン

• RQ1 SFAは、強化学習のための原始的な動画データから、低次元で時間的に整合性のある状態表現を効果的に抽出できるか？
• RQ2 SFAから得られる特徴量は、LSPIのような方策反復フレームワークにおける有効な線形関数近似をサポートするか？
• RQ3 ロボットがビデオカメラとSFAに基づく状態表現のみを用いて、ナビゲーションを成功裏に学習できるか？
• RQ4 LSPIにSFA特徴量を組み込んだ場合の性能は、ベースライン手法と比較してどうなるか？
• RQ5 SFAが三角関数関数に収束することの、得られる方策の質に与える影響は何か？

主な発見

• LSPIアルゴリズムがSFAによって抽出された特徴量を提供されると、テスト試行でナビゲーション成功率が約80％に達した。
• SFAは、ラベル付き状態やタスク固有の監視を必要とせず、原始的な動画データから意味のある低次元表現を効果的に抽出できた。
• 理論的分析により、SFAが三角関数多項式関数に収束することが示された。これらは、優れた線形近似能力で知られている。
• SFAを用いることで、原始的な画像データの次元を削減しながらも時間的整合性を保持でき、効果的な方策学習が可能になった。
• 複雑な原始視覚入力にもかかわらず、単純なナビゲーション環境において本手法は頑健であることが示された。
• 結果から、SFAは現実世界の強化学習応用における状態表現学習のための実用的かつ教師なしの手法である可能性が示唆された。