[論文レビュー] Time-Contrastive Networks: Self-Supervised Learning from Video

Pierre Sermanet, Corey Lynch+5 more|arXiv (Cornell University)|Apr 23, 2017

Human Pose and Action Recognition参考文献 48被引用数 53

ひとこと要約

本論文は Time-Contrastive Networks (TCN) を紹介する。これは非ラベル動画からの自己教師付きの多視点表現学習法で、視覚入力だけを用いて三人称の模倣と RL に基づくロボット制御を可能にする。

ABSTRACT

We propose a self-supervised approach for learning representations and robotic behaviors entirely from unlabeled videos recorded from multiple viewpoints, and study how this representation can be used in two robotic imitation settings: imitating object interactions from videos of humans, and imitating human poses. Imitation of human behavior requires a viewpoint-invariant representation that captures the relationships between end-effectors (hands or robot grippers) and the environment, object attributes, and body pose. We train our representations using a metric learning loss, where multiple simultaneous viewpoints of the same observation are attracted in the embedding space, while being repelled from temporal neighbors which are often visually similar but functionally different. In other words, the model simultaneously learns to recognize what is common between different-looking images, and what is different between similar-looking images. This signal causes our model to discover attributes that do not change across viewpoint, but do change across time, while ignoring nuisance variables such as occlusions, motion blur, lighting and background. We demonstrate that this representation can be used by a robot to directly mimic human poses without an explicit correspondence, and that it can be used as a reward function within a reinforcement learning algorithm. While representations are learned from an unlabeled collection of task-related videos, robot behaviors such as pouring are learned by watching a single 3rd-person demonstration by a human. Reward functions obtained by following the human demonstrations under the learned representation enable efficient reinforcement learning that is practical for real-world robotic systems. Video results, open-source code and dataset are available at https://sermanet.github.io/imitate

研究の動機と目的

• ラベルなしの多視点動画から、視点不変で物体の相互作用と姿勢を分離した表現を学習する。
• 明示的な姿勢ラベルや対応付けを用いず、三人称ビデオから人間の行動の模倣を可能にする。
• ビデオデータから学習したTCN埋め込みを用いて強化学習の報酬信号を提供する。
• TCN に基づくガイダンスを用いて、シミュレーションと実機ロボットでの注ぎ作業と食器ラック操作タスクを実演する。

提案手法

• 異なる視点から共起するフレーム (アンカー、ポジティブ) に対してトリプレット損失を用いて埋め込み f(x) を学習する。
• 多視点データを用いて視点・遮蔽・照明・背景の変化をグラウンド化・識別不能化するように視覚的変化をグラウンド化・曖昧さを解消し、視点不変性を達成する。
• 多視点データが利用できない場合は、定義された正例ウィンドウを用いた単一視点 TC 損失の利用をオプションとする。
• 32次元の TCN 埋め込みを用いて、二乗距離項と Huber 型項を組み合わせた報酬関数として強化学習を行う。
• TCN特徴を PILQR ベースのポリシー最適化に組み込み、ビデオデモから操作タスクを学習する。
• 人間とロボットのモーションで学習した共有TCN埋め込みによる自己回帰を通じた直接的な姿勢模倣を適用する。

実験結果

リサーチクエスチョン

• RQ1 Time-Contrastive Networks は、姿勢と物体の相互作用を分離しつつ、視点と外観に不変な表現を学習できるだろうか？
• RQ2 学習されたTCN埋め込みは、第三者デモから複雑な操作スキルを獲得するための堅牢な報酬信号を強化学習に提供できるか？
• RQ3 明示的な姿勢ラベルや対応付けラベルがなくても、三人称ビデオからの模倣は実現可能か？
• RQ4 多視点訓練信号と単一視点訓練信号は、表現品質とロボット学習の成果にどう影響するか？
• RQ5 TCN は Pose ラベルなしで人間の姿勢をリアルタイムかつ連続的に模倣することをサポートできるか？

主な発見

方法	アライメント誤差	分類誤差	訓練反復回数
Random	28.1%	54.2%	-
Inception-ImageNet	29.8%	51.9%	-
shuffle & learn [31]	22.8%	27.0%	575k
single-view TCN (triplet)	25.8%	24.3%	266k
multi-view TCN (npairs)	18.1%	22.2%	938k
multi-view TCN (triplet)	18.8%	21.4%	397k
multi-view TCN (lifted)	18.0%	19.6%	119k

• 多視点TCNは、注ぎタスクにおける整列と属性分類の両方でベースラインを上回る。
• mvTCN は実世界での注ぎとディッシュラック操作を効率的に可能にし、実機ロボットでの注ぎ性能は約10回の反復で収束する。
• 単一視点TCNとshuffle-and-learnベースラインは、同じデータにもかかわらずmvTCNに劣る。多視点信号の方が学習を加速する。
• TCNベースの報酬は、PILQRベースの強化学習を用いて実機ロボットとシミュレートされたディッシュラック課題で注ぎを学習させ、他の表現を上回る。
• 共通のTCN埋め込みによる自己回帰を通じた直接的な姿勢模倣は、ジョイントレベルの姿勢ラベルなしでエンドツーエンドの模倣を可能にし、限られた人間の監視を追加することができる。
• このアプローチは、三人称動画からの堅牢な模倣や迅速なタスク習得など、強力な定性的結果を示す。