[論文レビュー] Online Object Representations with Contrastive Learning

Sören Pirk, Mohi Khansari+3 more|arXiv (Cornell University)|Jun 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 13

ひとこと要約

本論文は、ラベルなしの単眼動画から、自己教師ありの対照的学習手法、Object-Contrastive Network (OCN) を提案する。時間的連続性を活用することで、色、形状、機能などのオブジェクト属性を発見し、オンライン適応により2.2%のオブジェクト識別誤差を達成する。これは、オフラインベースラインの52.4%の誤差と比べて顕著に優れている。

ABSTRACT

We propose a self-supervised approach for learning representations of objects from monocular videos and demonstrate it is particularly useful in situated settings such as robotics. The main contributions of this paper are: 1) a self-supervising objective trained with contrastive learning that can discover and disentangle object attributes from video without using any labels; 2) we leverage object self-supervision for online adaptation: the longer our online model looks at objects in a video, the lower the object identification error, while the offline baseline remains with a large fixed error; 3) to explore the possibilities of a system entirely free of human supervision, we let a robot collect its own data, train on this data with our self-supervise scheme, and then show the robot can point to objects similar to the one presented in front of it, demonstrating generalization of object attributes. An interesting and perhaps surprising finding of this approach is that given a limited set of objects, object correspondences will naturally emerge when using contrastive learning without requiring explicit positive pairs. Videos illustrating online object adaptation and robotic pointing are available at: https://online-objects.github.io/.

研究の動機と目的

• 人為的ラベルなしの非構造的単眼動画から、色、形状、機能などの視覚的・意味的オブジェクト属性（例：色、形状、機能）を自己教師ありで分離可能な形で学習する手法の開発。
• 動画推論中にオブジェクト表現のオンライン適応を可能にし、オブジェクトを長時間観察するほど識別精度が向上するようにする。
• ロボットが自らデータを収集し、提案手法で学習し、人為的監視なしに類似オブジェクトを指差す能力を示す。
• 対照的学習のみ（深度情報、トラッキング、明示的監視なし）で、動画内に自然にオブジェクトの対応関係と属性構造が発見可能かどうかを検証する。
• ゼロショットオブジェクト類似度マッチングを用いて、実世界のロボット設定における自己教師あり表現の頑健性と一般化性能を評価する。

提案手法

• 時間的整合性に基づいて自動的に正例ペアを発見する対照的学習を用い、真のオブジェクトマッチングを必要とせずに、メトリクス埋め込み空間を学習する。
• 事前学習済みのオブジェクト検出器を用いて、ランダムフレームから候補オブジェクトを抽出し、同じオブジェクトの時間的変化における埋め込みをクラスタリングするための対照的損失を適用する。
• 同一オブジェクトの異なる視点からの埋め込みを引き寄せる一方で、異なるオブジェクトの埋め込みを遠ざけるように、シアン型ネットワークアーキテクチャと対照的損失関数を採用する。
• 動画シーケンスの徐々な延長を用いてオンライン学習を実施し、モデルが時間経過とともに表現を精緻化できるようにする。
• 推論には最近傍探索分類器を用い、学習済みの埋め込みを用いてクエリオブジェクトをシーン内最も類似した対応物にマッチングする。
• 深度情報、セグメンテーションマスク、トラッキング信号に依存せず、動画フレームのみを入力として、エンドツーエンドにモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 対照的学習は、監視なしに非構造的単眼動画から色、形状、機能などのオブジェクト属性を発見・分離可能か？
• RQ2 段階的な動画露出によるオンライン自己教師あり学習は、オフライン事前学習に比べてオブジェクト識別精度を向上させるか？
• RQ3 本手法で自ら収集したデータを学習したロボットは、ゼロショットで与えられた例に類似するオブジェクトを識別し指差す能力を示せるか？
• RQ4 明示的な正例ペアのアノテーションなしで、自己教師あり対照的学習がどの程度オブジェクトの対応関係を発見できるか？
• RQ5 属性分離と一般化の観点から、自己教師あり表現は教師ありベースラインや標準的な特徴抽出器（例：ResNet50）と比べてどの程度優れているか？

主な発見

• OCNモデルは、200秒の動画シーケンスに対するオンライン学習により、オフラインベースラインの52.4%から2.2%までオブジェクト識別誤差を低減した。
• 線形属性分類では、クラス属性で10.70%の誤差、色属性で5.84%、2値属性で13.76%の誤差を達成し、ResNet50ベースライン（14.82%誤差）を上回り、教師ありベースラインに近づいた。
• 最近傍探索解析により、OCNはオブジェクトを視覚的（例：色）および意味的（例：容器の機能）次元に沿って整理しており、ボウルとフラスコ、カップを正しくグループ化していることが示された。
• モデルは、人為的ラベルなしで、実世界の設定においてクエリオブジェクトに類似するオブジェクトを指差すロボットの能力を実際に実現した。これは、学習済み属性の一般化を示している。
• 深度情報、トラッキング、明示的監視なしに、自己教師あり対照的学習のみで、動画内にオブジェクトの対応関係と属性分離が自然に発見可能であることが確認された。
• 教師なしのOCNモデルは、属性分類において教師ありOCNベースラインと2–3%の誤差差で近い性能を示しており、ラベルなしデータにもかかわらず強力な一般化性能を有していることが示された。