[論文レビュー] Learning RGB-D Feature Embeddings for Unseen Object Instance Segmentation

Xiang Yu, Christopher Xie+2 more|arXiv (Cornell University)|Jul 30, 2020

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 45

ひとこと要約

本論文は、合成データから RGB-D フィーチャー埋め込みを学習し、メトリック学習損失を用い、未見のオブジェクトインスタンスセグメンテーションのために埋め込みをクラスタリングする von Mises-Fisher mean shift を使用し、2段階の拡大リファインメントを補助として活用します。

ABSTRACT

Segmenting unseen objects in cluttered scenes is an important skill that robots need to acquire in order to perform tasks in new environments. In this work, we propose a new method for unseen object instance segmentation by learning RGB-D feature embeddings from synthetic data. A metric learning loss function is utilized to learn to produce pixel-wise feature embeddings such that pixels from the same object are close to each other and pixels from different objects are separated in the embedding space. With the learned feature embeddings, a mean shift clustering algorithm can be applied to discover and segment unseen objects. We further improve the segmentation accuracy with a new two-stage clustering algorithm. Our method demonstrates that non-photorealistic synthetic RGB and depth images can be used to learn feature embeddings that transfer well to real-world images for unseen object instance segmentation.

研究の動機と目的

• 一般化されたオブジェクトセグメンテーションを、混雑したテーブルトップシーンの未見オブジェクトに適用する
• photorealistic 以外の RGB データと深度を組み合わせて、頑健な埋め込みを学習する
• 埋め込み空間でオブジェクトごとにピクセルをクラスタリングするメトリック学習損失を提案する
• セグメンテーション境界を改善するための2段階クラスタリング（ズームインリファインメント）を提案する
• 実データの RGB-D データセットにおける UOIS での最先端結果を示す

提案手法

• dense ピクセル埋め込みを生成する完全畳み込みネットワークで RGB-D 画像を処理する
• 埋め込みが単位長であることを前提としたコサイン距離を用いて、同オブジェクト内距離を最小化し、異オブジェクト間距離を最大化するメトリック学習損失で訓練する
• 埋め込み空間で球面（von Mises-Fisher）平均シフトクラスタリングを用いて、オブジェクトセグメントを発見する
• RGB と深度を三つの戦略（早期融合、追加による後期融合、連結による後期融合）で融合し、その影響を評価する
• 二段階のクラスタリングを導入する：(i) 画像内の全ピクセルをクラスタリング、(ii) RoI をズームインして、synthetic RoI で訓練した RoI レベルのクラスタリングネットワークでリファインする
• テスト時には mean shift クラスタリングを適用してセグメントを取得し、境界を鋭くし近接オブジェクトを分離するための二段階リファインメントを行う

実験結果

リサーチクエスチョン

• RQ1 Synthetic で非フォトリアリスティックな RGB データから学習した RGB-D フィーチャー埋め込みが、未見オブジェクトのセグメンテーションのために実際の RGB-D 画像へ転移できるか？
• RQ2 どの RGB-D 融合戦略が UOIS の一般化に最も効果的か？
• RQ3 二段階（ズームイン）クラスタリングは、特に境界精度と近接オブジェクトの分離において、セグメンテーション品質を改善しますか？
• RQ4 提案手法は OCID および OSD データセットの最先端 UOIS 手法と比較してどうか？

主な発見

• 深度を用いることは、さまざまな手法でパフォーマンスを大幅に向上させ、提案手法は Late Fusion Addition による深度との融合で RGB 情報の恩恵を受ける
• Unseen Clustering Network (UCN) は OCID および OSD データセットで Overlap F-measure と Boundary F-measure の最先端結果を達成した
• 二段階のズームインリファインメントは、境界指標と F-measure ≥ 0.75 のオブジェクトの割合を、入力モードを問わず一貫して改善した
• RGB-D Late Fusion Addition + ズームインリファインメントと、提案のメトリック学習アプローチは、同じ合成データで訓練した Mask R-CNN ベースラインを上回る
• この方法は、下位から上位へと埋め込み空間クラスタリングを行うアプローチのため、リコールが高く、精度は競争力を維持した