[論文レビュー] CNOS: A Strong Baseline for CAD-based Novel Object Segmentation

Van Nguyen Nguyen, Thibault Groueix+3 more|arXiv (Cornell University)|Jul 20, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

CNOSは、CADモデルのみを用いて、Segment Anythingによる提案とDINOv2の[cls]トークンによるプリレンダードテンプレートとの照合を活用することで、ゼロショットで新規オブジェクトセグメンテーションを実現するシンプルでありながら強力な手法を提案する。BOPベンチマークにおいて最先端の性能を達成し、従来の教師なし手法を19.8% AP上回り、さらにマスクR-CNNのような教師あり手法でさえも上回る。

ABSTRACT

We propose a simple three-stage approach to segment unseen objects in RGB images using their CAD models. Leveraging recent powerful foundation models, DINOv2 and Segment Anything, we create descriptors and generate proposals, including binary masks for a given input RGB image. By matching proposals with reference descriptors created from CAD models, we achieve precise object ID assignment along with modal masks. We experimentally demonstrate that our method achieves state-of-the-art results in CAD-based novel object segmentation, surpassing existing approaches on the seven core datasets of the BOP challenge by 19.8% AP using the same BOP evaluation protocol. Our source code is available at https://github.com/nv-nguyen/cnos.

研究の動機と目的

• ロボット工学やARアプリケーションにおいて、各新しいオブジェクトに対して再トレーニングを要する教師あり手法の制限を克服すること。
• データ収集や再トレーニングにかかるコストを回避するため、CADモデルのみを用いてゼロショットで新規オブジェクトをセグメンテーション可能にする。
• 既存の教師なしおよび教師あり手法を上回る、シンプルで強力なベースラインを、CADベースの新規オブジェクトセグメンテーションの分野に構築すること。
• DINOv2とフォトリッチなレンダリングを用いて、実写画像と合成画像の間のドメインギャップを低減すること。

提案手法

• CNOSは、FastSAMまたはSAMを用いて入力RGB画像内のセグメンテーション提案を生成する。
• オブジェクトの複数の視点からCADモデルを事前にレンダリングし、各テンプレートをDINOv2の[cls]トークンで符号化して視覚的記述を取得する。
• 推論時、提案とテンプレートの間のDINOv2 [cls]トークンのコサイン類似度を計算することで照合を行う。
• マスクの信頼度として、類似度スコア上位k個（k=5）の平均（Meanₖ）を最終的な一致スコアとして用いる。
• ドメインギャップの低減と精度向上のため、BlenderProcを用いたフォトリッチなレンダリングを採用する。
• オンボーディングは一回限りのプロセスであり、テンプレートのレンダリングと各CADモデルごとのDINOv2記述子の抽出を含む。

実験結果

リサーチクエスチョン

• RQ1 CADモデルのみに依存するゼロショット手法が、新規オブジェクトセグメンテーションで最先端の性能を達成できるか？
• RQ2 DINOv2 [cls]トークンの類似度は、実画像の提案と合成されたCADテンプレートを照合するのにどの程度有効か？
• RQ3 フォトリッチなレンダリングは、標準レンダリングと比較して、ゼロショットセグメンテーション精度を顕著に向上させるか？
• RQ4 CNOSは、微調整なしに教師ありおよび教師なしのベースラインをすべて上回ることができるか？

主な発見

• CNOSは、FastSAMとViT-lを用いてLM-Oデータセットで39.7% APを達成し、従来のSOTA教師なし手法を19.8% AP上回った。
• 教師ありのマスクR-CNN（各データセットで数万枚の画像でトレーニング済み）をも凌駆する結果となり、優れたゼロショット一般化性能を示した。
• BlenderProcを用いたフォトリッチなレンダリングは、標準のPyrenderレンダリングと比較して、精度を0.2% AP向上させた。
• Meanₖ（k=5）の集約関数が最良の性能を示し、Max関数と比較して3.2%、Mean関数と比較して3.2%の精度向上を達成した。
• 標準レンダリングを用いた場合、1CADモデルあたり2秒未塔のオンボーディング時間であり、産業用途への実装が現実的であることを示した。
• 視点の変化に対して頑健であり、密な視点レンダリング（162視点）と粗い視点レンダリング（42視点）の間で、性能にほとんど差がなかった。