[論文レビュー] Combining Vision, Machine Learning and Automatic Control to Play the Labyrinth Game

Kristoffer Öfjäll, Michael Felsberg|arXiv (Cornell University)|Feb 1, 2016

Time Series Analysis and Forecasting参考文献 4被引用数 4

ひとこと要約

本稿では、ボールを物理的ラビリンスゲーム内を走破するためのハイブリッド制御システムを提示している。視覚認識を用いてボールを追跡し、自己生成された経験からのオンライン学習を活用することで、非線形ダイナミクスや迷路内の位置依存の変化に対しても、初期のPID制御よりも優れた性能を発揮する。特に障害物が多数存在する環境を含む複雑な状況では、LWPR-4が最良の性能を示した。

ABSTRACT

The labyrinth game is a simple yet challenging platform, not only for humans but also for control algorithms and systems. The game is easy to understand but still very hard to master. From a system point of view, the ball behaviour is in general easy to model but close to the obstacles there are severe non-linearities. Additionally, the far from flat surface on which the ball rolls provides for changing dynamics depending on the ball position. The general dynamics of the system can easliy be handled by traditional automatic control methods. Taking the obstacles and uneaven surface into accout would require very detailed models of the system. A simple deterministic control algorithm is combined with a learning control method. The simple control method provides initial training data. As the learning method is trained, the system can learn from the results of its own actions and the performance improves well beyond the performance of the initial controller. A vision system and image analysis is used to estimate the ball position while a combination of a PID controller and a learning controller based on LWPR is used to learn to navigate the ball through the maze.

研究の動機と目的

• 複雑なダイナミクスを示す物理的ラビリンスゲーム内でのボール走破のための耐障害性の高い制御システムの開発。
• 従来の制御が失敗する障害物付近や不整地帯における非線形挙動の課題への対処。
• 決定論的制御（PID）とオンライン機械学習（LWPR）を組み合わせることで、現実世界のロボットタスクにおける適応的制御の有効性の評価。
• 詳細なシステムモデルが不要な自己生成データからの学習が、初期制御器の性能を上回ることの可能性の実証。
• 動的変化を伴う複雑度が増す複数のシナリオにおいて、アプローチの有効性の検証。

提案手法

• ビジョンシステムが画像解析を用いて、ボールの位置をリアルタイムで追跡する。
• 二軸PID制御器が初期制御を提供し、学習システムのための訓練データを生成する。
• LWPRアルゴリズムが、現在の状態と望ましい状態を入力として、必要な制御信号にマッピングすることで、システムの逆動力学を学習する。
• LWPR-2とLWPR-4の変種は、入力次元の違いを示す：LWPR-2は速度と望ましい速度を用いるが、LWPR-4は絶対的位置を追加することで、空間的に変化するダイナミクスの処理を向上させる。
• 学習モデルが特定領域で十分なデータを保持しない場合、システムはPID制御器に切り替わり、学習中の安定性を確保する。
• 訓練データは、システム自身の行動からオンラインで生成され、自己教師付き学習により継続的な性能向上が可能となる。

実験結果

リサーチクエスチョン

• RQ1 シンプルなPIDと学習制御器を組み合わせたハイブリッド制御システムが、複雑な物理的ラビリンス内での走破において、単独のPIDよりも優れた性能を発揮できるか？
• RQ2 入力空間に絶対的位置を含めることで、迷路内の位置依存ダイナミクスに対処する学習制御器の能力はどのように向上するか？
• RQ3 制御信号が迷路の異なる領域で逆転またはオフセットするような急激なシステム挙動の変化に対し、学習制御器はどの程度適応可能か？
• RQ4 学習制御器は、迷路の縁や障害物付近の強い非線形性に対しても十分に一般化できるか？
• RQ5 システム自身の行動から得られるオンライン自己学習により、初期制御器の能力を超える性能向上が達成可能か？

主な発見

• シナリオ1（サインパス）では、LWPR-2制御器が平均RMSE 3.5（±0.5）を達成し、PIDの6.0（±0.8）よりも顕著に低い値を示し、追従性能の向上を実証した。
• シナリオ2a（下部で一定のオフセット）では、LWPR-4制御器が平均RMSE 6.5（±1.6）を達成し、PID（15.5 ±1.6）とLWPR-2（11.5 ±1.8）を上回り、動的変化への適応性の優位性を示した。
• シナリオ2b（下部で制御が逆転）では、LWPR-4制御器のみが成功し、平均RMSE 5.6（±1.1）を達成した。一方、PIDとLWPR-2は失敗（DNF）を記録し、空間的状態認識の重要性を強調した。
• シナリオ3（障害物付きの実際の迷路パス）では、LWPR-4制御器のみが安定した制御を維持し、平均RMSE 3.8（±0.6）を達成した。一方、PIDとLWPR-2は徐々に振動を増大させた。
• 自己生成データからのオンライン学習のおかげで、システムの性能は時間経過とともに向上し、LWPR-4制御器は初期のPID制御器を上回る性能に到達した。
• 入力空間に絶対的位置を追加すること（LWPR-4）が、空間的に変化するダイナミクスに対処する上で極めて重要であり、複雑な環境ではより豊かな状態表現の必要性を裏付けた。