[論文レビュー] Unsupervised state representation learning with robotic priors: a robustness benchmark

Timothée Lesort, Mathieu Seurin+3 more|arXiv (Cornell University)|Sep 15, 2017

Fault Detection and Control Systems参考文献 21被引用数 20

ひとこと要約

本論文は、ロボットの事前知識を用いて、シミュレーテッドロボット環境におけるRGB画像から3次元ハンド位置を学習する非教師あり状態表現学習を拡張する。シameseネットワークを組み込み、新規の基準点事前知識を導入することで、干渉要因やドメインランダム化に耐性があり、低次元の状態表現を実現。自己符号化器を上回り、状態空間の整合性も向上するが、極端なドメインシフトの場合は限界が見られる。

ABSTRACT

Our understanding of the world depends highly on our capacity to produce intuitive and simplified representations which can be easily used to solve problems. We reproduce this simplification process using a neural network to build a low dimensional state representation of the world from images acquired by a robot. As in Jonschkowski et al. 2015, we learn in an unsupervised way using prior knowledge about the world as loss functions called robotic priors and extend this approach to high dimension richer images to learn a 3D representation of the hand position of a robot from RGB images. We propose a quantitative evaluation of the learned representation using nearest neighbors in the state space that allows to assess its quality and show both the potential and limitations of robotic priors in realistic environments. We augment image size, add distractors and domain randomization, all crucial components to achieve transfer learning to real robots. Finally, we also contribute a new prior to improve the robustness of the representation. The applications of such low dimensional state representation range from easing reinforcement learning (RL) and knowledge transfer across tasks, to facilitating learning from raw data with more efficient and compact high level representations. The results show that the robotic prior approach is able to extract high level representation as the 3D position of an arm and organize it into a compact and coherent space of states in a challenging dataset.

研究の動機と目的

• RGB画像などの高次元で豊かな視覚入力に対して、ロボットの事前知識を用いた非教師あり状態表現学習を拡張すること。
• 静的・動的干渉要因やドメインランダム化といった現実的課題下におけるロボット事前知識の頑健性を評価すること。
• 状態空間の整合性を向上させ、クラスタリング問題を軽減するため、新規のアライメント基準点事前知識を提案すること。
• 状態表現品質の定量的評価のため、新しいKNN-MSE指標を導入・検証すること。

提案手法

• ロボットのカメラが捉えたRGB画像から低次元状態表現を学習するために、シamese畳み込みニューラルネットワークを用いる。
• ロボットの行動と報酬から導出される物理ベースの制約（ロボット事前知識）を損失関数として導入し、非教師あり表現学習をガイドする。
• ドメインシフト下での状態空間幾何構造の安定化と、各シーケンスのクラスタリング低減のため、第5の基準点事前知識を導入する。
• 潜在空間における最近傍探索を用いて、新しいKNN-MSE指標で表現品質を評価し、NIEQAと比較検証する。
• ドメインランダム化を適用し、静的・移動性の干渉要因を追加して、現実世界の頑健性課題を模擬する。
• 報酬が関連付けられた画像ペアを用いてネットワークを訓練し、行動・観測・学習済状態の整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ロボットの事前知識は、3次元状態表現学習における高次元視覚入力（例：RGB画像）に一般化可能か？
• RQ2 静的・動的干渉要因下でロボットの事前知識はどのように性能を示すか？また、このような状況下で顕在化する制限は何か？
• RQ3 新規の基準点事前知識は、ドメインランダム化の影響下でも、学習済状態空間の整合性と頑健性を向上させられるか？
• RQ4 提案されたKNN-MSE指標は、NIEQAと比較して表現品質の評価においてどう異なるか？また、ベンチマーク用途に計算的に実用的か？

主な発見

• ロボット事前知識アプローチは、15トレーニングエポック未満で高速収束し、自己符号化器を上回る、タスク関連性の高い整合的状態表現を学習する。
• 元の事前知識では、静的干渉要因や強いドメインランダム化下で一般化に失敗し、状態空間に各シーケンスごとのクラスタリングが生じる。
• 提案された第5の基準点事前知識は、状態空間の整合性を顕著に向上させ、特にStatic-Button-Distractorsデータセットでクラスタリングを著しく低減する。
• KNN-MSEは、NIEQAと強い一致を示す計算効率が良く信頼性の高い代替指標として機能する。
• 改善は見られるが、極端なドメインシフト下では依然として限界が顕在しており、事前知識設計のさらなる検討余地が示唆される。
• 最近傍の可視化だけでは表現品質を評価することは不十分。幾何構造と報酬の一貫性の方が、より有用な指標である。