[論文レビュー] OV-PARTS: Towards Open-Vocabulary Part Segmentation

Meng Wei, Xiaoyu Yue+4 more|arXiv (Cornell University)|Oct 8, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、複雑な境界、限られたアノテーション、オープンな粒度の問題に直面する部分レベルのセグメンテーションを扱うオープンボキャブラリー部品セグメンテーションのベンチマーク、OV-PARTSを紹介する。3つのタスク—一般化ゼロショット、クロスデータセット、少サンプルセグメンテーション—を提案し、CLIPベースのプロンプティングと微調整を用いた改善された2段階および1段階のベースラインを構築し、クリーニングされたPascal-Part-116およびADE20K-Part-234データセットで最先端の性能を達成。ゼロショットおよび少サンプル一般化の両面で優れた性能を示した。

ABSTRACT

Segmenting and recognizing diverse object parts is a crucial ability in applications spanning various computer vision and robotic tasks. While significant progress has been made in object-level Open-Vocabulary Semantic Segmentation (OVSS), i.e., segmenting objects with arbitrary text, the corresponding part-level research poses additional challenges. Firstly, part segmentation inherently involves intricate boundaries, while limited annotated data compounds the challenge. Secondly, part segmentation introduces an open granularity challenge due to the diverse and often ambiguous definitions of parts in the open world. Furthermore, the large-scale vision and language models, which play a key role in the open vocabulary setting, struggle to recognize parts as effectively as objects. To comprehensively investigate and tackle these challenges, we propose an Open-Vocabulary Part Segmentation (OV-PARTS) benchmark. OV-PARTS includes refined versions of two publicly available datasets: Pascal-Part-116 and ADE20K-Part-234. And it covers three specific tasks: Generalized Zero-Shot Part Segmentation, Cross-Dataset Part Segmentation, and Few-Shot Part Segmentation, providing insights into analogical reasoning, open granularity and few-shot adapting abilities of models. Moreover, we analyze and adapt two prevailing paradigms of existing object-level OVSS methods for OV-PARTS. Extensive experimental analysis is conducted to inspire future research in leveraging foundational models for OV-PARTS. The code and dataset are available at https://github.com/OpenRobotLab/OV_PARTS.

研究の動機と目的

• オープンボキャブラリー部品セグメンテーションのための標準化されたベンチマークの欠如に取り組み、複雑な境界、限られたアノテーション、オープンな粒度の課題に対処すること。
• 視覚言語モデルの類似推論、オープンな粒度、少サンプル適応能力が部分レベルのセグメンテーションに与える影響を調査すること。
• オブジェクト中心の事前学習によって制限を受ける、CLIPのような基盤モデルの部分認識への転送性を向上させること。
• 標準化された評価を可能にし、今後の研究を促進するため、洗練されたデータセット（Pascal-Part-116およびADE20K-Part-234）を統合した包括的なベンチマークを提供すること。

提案手法

• Pascal-PartおよびADE20K-Partのクリーニングおよび再編成版に基づき、116および234の部品カテゴリを有する新規ベンチマーク、OV-PARTSを構築。
• モデルの一般化能力を評価するため、3つの評価タスクを導入：一般化ゼロショット部品セグメンテーション、クロスデータセット部品セグメンテーション、少サンプル部品セグメンテーション。
• オブジェクトレベルのOVSSからインスパイドされた2段階および1段階のパラダイムを適応：2段階アプローチは、クラスに依存しないマスクプロポーザルに続き、オブジェクトに注意を向けたプロンプティングと合成的プロンプティングを用いたCLIPベース分類を実施。
• オブジェクトコンテキストをプロポーザル段階に統合するためのオブジェクトマスクプロンプティングを導入。
• CLIPの注目をオブジェクトから部品へシフトさせるための合成的プロンプトチューニングを導入。
• プロンプトチューニングに視覚アダプタ（VA）、言語アダプタ（L）、およびFiLM（F）を採用。CLIPSegの異なるコンponent（例：VA+L+F+D）の微調整に対するアブレーションスタディを実施。
• 主な指標として、既知クラスと未知クラスのmIoUの調和平均を用い、オブジェクト-部品の混同に対するロバストネスを評価するためのOracle-ObjおよびPred-Obj設定を導入。

実験結果

リサーチクエスチョン

• RQ1 類似推論を用いたゼロショット設定下で、モデルは既知のオブジェクトカテゴリから未知のオブジェクトカテゴリへの部品セグメンテーションをどの程度うまく一般化できるか？
• RQ2 部品語彙や粒度レベルが異なるデータセット間で、部品セグメンテーションの知識を転送する際、モデルの性能はどの程度か？
• RQ3 わずかなアノテーション例しか与えられていない状況下で、基盤モデルを部品セグメンテーションにどの程度適応できるか。また、どの微調整戦略が最も効果的か？
• RQ4 オブジェクトに注意を向けたプロンプティングや合成的プロンプティングといった、異なるプロンプトチューニング戦略は、CLIPの部品認識能力をオブジェクト認識能力よりも向上させるか？
• RQ5 オープンボキャブラリー部品セグメンテーションにおいて、CLIPSegの異なるコンponentを微調整する際のパフォーマンスのトレードオフと失敗モードは何か？

主な発見

• VA+L+F+Dを微調整したCLIPSegモデルは、少サンプル設定下でPascal-Part-116で35.04%、ADE20K-Part-234で33.13%の調和平均mIoUを達成し、他のアブレーションを上回った。
• 視覚アダプタの微調整（VA+F）はPascal-Part-116では性能を向上させたが、ADE20K-Part-234では性能が劣った。これは、データセットに依存する転送性のギャップを示している。
• デコーダー（D）の微調整はADE20K-Part-234で性能を低下させた。これは、低データ環境下での過学習リスクを示唆している。
• VA+L+F+D設定はOracle-Obj下では0.69%の性能向上を示したが、ADE20K-Part-234のPred-Obj下では1.2%低下した。これは、部品に過剰に注目するバイアスがあることを示している。
• Pred-Obj設定下でCATSegはCLIPSegを上回った。これは、より多くのパラメータを有するにもかかわらず、より良い一般化性能と低い過学習を示している。
• 定性的な結果から、CLIPベースのモデルは、特にクロスデータセット設定下で、境界の明確化や複雑な部品記述の言語理解に苦労していることがわかった。