[論文レビュー] Self-supervisory Signals for Object Discovery and Detection

Etienne Pot, Alexander Toshev+1 more|ArXiv.org|Jun 8, 2018

Robot Manipulation and Learning参考文献 22被引用数 7

ひとこと要約

本論文では、ロボットの自己運動と深度認識を用いた自己教師付き枠組みを提案し、ラベルなし画像からオブジェクト表現を学習することで、クラスタリングによる教師なしオブジェクト発見と最小限の人的ラベルを要する少サンプルオブジェクト検出を実現する。この手法は、少サンプル検出で平均平均適合率（mAP）0.46を達成し、同じデータで微調整された標準的な検出器が得る0.38 mAPを著しく上回る。

ABSTRACT

In robotic applications, we often face the challenge of discovering new objects while having very little or no labelled training data. In this paper we explore the use of self-supervision provided by a robot traversing an environment to learn representations of encountered objects. Knowledge of ego-motion and depth perception enables the agent to effectively associate multiple object proposals, which serve as training data for learning object representations from unlabelled images. We demonstrate the utility of this representation in two ways. First, we can automatically discover objects by performing clustering in the learned embedding space. Each resulting cluster contains examples of one instance seen from various viewpoints and scales. Second, given a small number of labeled images, we can efficiently learn detectors for these labels. In the few-shot regime, these detectors have a substantially higher mAP of 0.22 compared to 0.12 of off-the-shelf standard detectors trained on this limited data. Thus, the proposed self-supervision results in effective environment specific object discovery and detection at no or very small human labeling cost.

研究の動機と目的

• ラベル付き学習データがほとんどないロボット環境において、未知のオブジェクトを検出する課題に対処すること。
• 人的ラベルなしで、自己教師付き学習を、自己運動と深度認識から得られる特徴を活用して、強固なオブジェクト表現を学習すること。
• 学習済み表現空間におけるオブジェクト埋め込みのクラスタリングにより、教師なしでオブジェクト発見を可能にすること。
• 境界ボックスのアノテーションではなく、インスタンスレベルのラベルのみを要する、効率的な少サンプルオブジェクト検出手法を開発すること。
• ロボットの展開における人的ラベルコストを削減するため、境界ボックスアノテーションをクラスターレベルのラベルに置き換えること。

提案手法

• ロボットの探査中にラベルなし画像からクラスに依存しない領域提案ネットワーク（RPN）を用いてオブジェクト候補を生成する。
• 自己運動と深度の手がかりを活用して、フレーム間でのオブジェクト候補同士の対応関係を確立し、自己教師付き学習のための正例ペアを形成する。
• 共通の特徴空間内で判別的なオブジェクト埋め込みを学習するために、距離メトリクス学習損失を用いてFaster R-CNN検出器を訓練する。
• 学習済み埋め込み空間でのクラスタリングを実行し、同じオブジェクトの複数の視点やスケールをグループ化することで、新規オブジェクトインスタンスを発見する。
• 2つの検出モデルを訓練する：SSOD-ClusterはFaster R-CNNの微調整にクラスターレベルのラベルを用い、SSOD-Distは埋め込みに基づく最近傍分類を用いる。
• SSOD-Distでは、提案のための固定RPNを用いることで、トレーニングコストを削減し、最小限の自己教師付き学習で高速な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己運動と深度認識からの自己教師付き学習により、人的ラベルなしの境界ボックスがなくても、効果的なオブジェクト表現学習が可能か？
• RQ2 学習済み埋め込み空間でのクラスタリングにより、ラベルなしデータから自動的に新規オブジェクトインスタンスを発見できるか？
• RQ3 クラスタごとにインスタンスレベルのラベルのみが与えられた場合、境界ボックスアノテーションよりも性能が著しく向上するか？
• RQ4 提案された自己教師付き検出モデルの性能は、同じ少数のラベル付き例で微調整された標準的な検出器と比べてどうか？
• RQ5 最近傍ベースの検出（SSOD-Dist）における失敗事例の主な要因は何か？また、一般化性能にどのように影響するか？

主な発見

• SSOD-Clusterはテストセットで平均平均適合率（mAP）0.46を達成し、同じデータで微調整された標準的なFaster R-CNN（mAP 0.38）を上回った。
• 1クラスあたり5つのトレーニング例での少サンプル状態でも、SSOD-DistはmAP 0.277を達成し、標準的なFaster R-CNNの0.256を上回り、低自己教師付き学習下での一般化性能が優れていることが示された。
• 1クラスあたり1つのトレーニング例が与えられた場合、SSOD-DistはmAP 0.226を達成したのに対し、標準的なFaster R-CNNは0.120にとどまり、ゼロ・ショットおよび少サンプル検出において顕著な改善が確認された。
• 本手法は、1環境あたり平均170のクラスタを発見し、それぞれが明確に区別されたオブジェクトインスタンスを表しており、スケーラブルで低コストなオブジェクト発見が可能である。
• SSOD-Distの失敗事例の主な原因は、オブジェクト同士の形状・テクスチャ・色・空間的接近性の類似性であり、これにより誤った最近傍マッチングが生じた。
• すべての5000枚のトレーニング画像がラベル付けされた場合の上限性能はmAP 0.40であったため、完全ラベル付き状態でも本手法は最適に近い性能を達成していることが示された。