[論文レビュー] Unsupervised Learning of Visual 3D Keypoints for Control

Boyuan Chen, Pieter Abbeel+1 more|arXiv (Cornell University)|Jun 14, 2021

Reinforcement Learning in Robotics参考文献 22被引用数 10

ひとこと要約

本論文は、マルチビューの一貫性と下流タスクの目的関数を用いて訓練された微分可能エンコーダーを用いて、画像から直接3次元視覚的キーポイントを教師なしで学習するエンドツーエンドの手法を提案する。学習された3次元キーポイントはロボットの関節や物体の動きを効果的に捉えており、複数の強化学習ベンチマークで先行する最先端手法を上回る性能を発揮する。

ABSTRACT

Learning sensorimotor control policies from high-dimensional images crucially relies on the quality of the underlying visual representations. Prior works show that structured latent space such as visual keypoints often outperforms unstructured representations for robotic control. However, most of these representations, whether structured or unstructured are learned in a 2D space even though the control tasks are usually performed in a 3D environment. In this work, we propose a framework to learn such a 3D geometric structure directly from images in an end-to-end unsupervised manner. The input images are embedded into latent 3D keypoints via a differentiable encoder which is trained to optimize both a multi-view consistency loss and downstream task objective. These discovered 3D keypoints tend to meaningfully capture robot joints as well as object movements in a consistent manner across both time and 3D space. The proposed approach outperforms prior state-of-art methods across a variety of reinforcement learning benchmarks. Code and videos at this https URL

研究の動機と目的

• 高次元の画像から構造的な3次元キーポイント埋め込みを学習することで、ロボット制御のための視覚的表現を向上させること。
• 従来の2次元キーポイント手法の限界を克服し、画像から直接幾何的に意味のある3次元キーポイント構造を学習すること。
• マルチビューの一貫性と下流タスクの目的関数を用いて、3次元キーポイントエンコーダーをエンドツーエンドで教師なしで訓練できること。
• 時間的・空間的に一貫した、意味的に明確な3次元キーポイントを発見し、ロボットの関節や物体の動きを追跡できること。

提案手法

• 微分可能なニューラルエンコーダーが入力画像を潜在的な3次元キーポイント空間にマップし、エンドツーエンドの訓練を可能にする。
• 異なるカメラの視点間での幾何的一貫性を保証するため、マルチビュー一貫性損失を用いてモデルを訓練する。
• 下流タスクの目的関数（例：強化学習ポリシーの訓練）を共同最適化することで、キーポイント表現を制御に関連するダイナミクスに一致させる。
• 時間的・空間的構造がシーケンスや視点変化に対しても一貫して保たれるように、3次元キーポイント空間を最適化する。
• 再構成損失と一貫性損失を同時に最小化しつつ、制御に必要な情報を保持する。
• 3次元キーポイントのアノテーションデータを一切必要とせず、完全に教師なしの事前学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 2次元または非構造的な表現と比較して、画像から3次元視覚的キーポイントを教師なしで学習することで、下流のロボット制御性能が向上するか？
• RQ2 発見された3次元キーポイントは、3次元環境における異なる視点や時間的シーケンスにどれほど一般化するか？
• RQ3 学習された3次元キーポイントは、関節の動きや物体同士の相互作用といった意味のあるロボット・オブジェクトの動きをどの程度捉えられるか？
• RQ4 下流タスクの目的関数と共同最適化することで、3次元キーポイント表現の質と実用性が向上するか？
• RQ5 3次元の監視情報やアノテート済みキーポイントデータを一切必要とせず、最先端の性能を達成できるか？

主な発見

• 提案手法は、先行する最先端手法と比較して、複数の強化学習ベンチマークで優れた性能を達成した。
• 学習された3次元キーポイントは、時間的および3次元空間的構成の両方において、ロボットの関節や物体の動きを一貫して捉えている。
• モデルは強力なマルチビュー一貫性を示しており、異なる視点からの幾何的構造が3次元キーポイント空間に保たれていることが裏付けられた。
• マルチビューとタスクの目的関数を用いた教師なし事前学習により、下流の制御タスクで収束が速く、より高いサンプル効率が得られた。
• 微調整や3次元監視を一切必要とせず、多様な環境やタスクに良好に一般化した。
• 真値の3次元キーポイントアノテーションが不要であり、画像観測のみで効果的なポリシー学習が可能である。