[論文レビュー] OvarNet: Towards Open-vocabulary Object Attribute Recognition

Keyan Chen, Xiaolong Jiang+5 more|arXiv (Cornell University)|Jan 23, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

OvarNet は、CLIPベースの視覚言語事前学習と、Faster R-CNNバックボーンへの知識蒸留を活用して、オープンボリュームのオブジェクト検出と属性認識を統合的かつエンドツーエンドで行うフレームワークを提案する。検出と属性予測を同時に学習することで、VAW、MS-COCO、LSA、OVADベンチマークにおいて最先端の性能を達成し、未学習のカテゴリーや属性に対しても優れたゼロショット一般化性能を示している。

ABSTRACT

In this paper, we consider the problem of simultaneously detecting objects and inferring their visual attributes in an image, even for those with no manual annotations provided at the training stage, resembling an open-vocabulary scenario. To achieve this goal, we make the following contributions: (i) we start with a naive two-stage approach for open-vocabulary object detection and attribute classification, termed CLIP-Attr. The candidate objects are first proposed with an offline RPN and later classified for semantic category and attributes; (ii) we combine all available datasets and train with a federated strategy to finetune the CLIP model, aligning the visual representation with attributes, additionally, we investigate the efficacy of leveraging freely available online image-caption pairs under weakly supervised learning; (iii) in pursuit of efficiency, we train a Faster-RCNN type model end-to-end with knowledge distillation, that performs class-agnostic object proposals and classification on semantic categories and attributes with classifiers generated from a text encoder; Finally, (iv) we conduct extensive experiments on VAW, MS-COCO, LSA, and OVAD datasets, and show that recognition of semantic category and attributes is complementary for visual scene understanding, i.e., jointly training object detection and attributes prediction largely outperform existing approaches that treat the two tasks independently, demonstrating strong generalization ability to novel attributes and categories.

研究の動機と目的

• トレーニング時に未確認のカテゴリーや属性が含まれるオープンボリュームの設定において、オブジェクトの検出と視覚的属性の認識を同時に実行する課題に対処すること。
• CLIPモデルの意味的カテゴリへのバイアスを軽減し、学習可能なプロンプトベクトルと弱教師ありデータを用いて、視覚的属性特徴の整合性を向上させること。
• すべての属性に手動アノテーションを必要としない、効率的でエンドツーエンドの検出フレームワークを構築すること。
• 検出と属性認識の共同学習が、新しい属性やカテゴリへの一般化および性能向上に寄与することを示すこと。

提案手法

• 2段階ベースラインである CLIP-Attr は、事前に生成された RPN を用いてオブジェクト候補を抽出し、その後、視覚特徴と属性・カテゴリのテキスト埋め込みを比較することで分類を行う。
• 視覚特徴と属性概念の整合性を向上させるために、テキストエンコーダー側に学習可能なプロンプトベクトルを導入し、ゼロショット属性認識の性能を向上させる。
• オブジェクト検出と属性予測のデータセットを統合するフェデレーテッドファインチューニング戦略を採用し、CLIPの視覚表現を属性の意味と一致させる。
• 自由に入手可能な画像キャプションペアを用いて弱教師あり学習を適用し、新しい属性を認識する際のロバスト性を向上させる。
• エンドツーエンドで学習可能な Faster R-CNN モデル（OvarNet）を、CLIP-Attr からの知識蒸留によって訓練し、クラスに依存しない候補生成とテキストエンコーダーが生成する分類器を用いた統合分類を可能にする。
• 最終的な OvarNet モデルは、検出と属性予測を統合した単一で効率的なアーキテクチャを実現し、CLIP-Attr と外部の画像キャプションデータからの蒸留知識を用いて訓練される。

Figure 1 : The first row depicts the tasks of object detection and attribute classification in a close-set setting, i.e. , train and test on the same vocabulary set. The second row gives qualitative results from our proposed OvarNet, which simultaneously localizes, categorizes, and characterizes arb

実験結果

リサーチクエスチョン

• RQ1 検出と属性認識の共同学習は、未学習のカテゴリーや属性に対するゼロショット一般化性能を向上させることができるか？
• RQ2 CLIPベースのモデルは、意味的カテゴリへのバイアスを軽減し、視覚的属性と整合性を高めるためにどのように適合させることができるか？
• RQ3 弱教師ありの画像キャプションペアは、オープンボリューム設定における属性認識のロバスト性をどの程度向上させることができるか？
• RQ4 2段階の CLIP-Attr モデルから Faster R-CNN バックボーンへのエンドツーエンドの知識蒸留は、効率性と性能の両面で優れた結果をもたらすか？
• RQ5 提案された OvarNet フレームワークは、長尾属性分布を示す多様なベンチマークにおいて、どの程度一般化性能を発揮するか？

主な発見

• VAW ベンチマークにおいて、'given'設定下で OvarNet は 28.6 mAP を達成し、X-VLM（28.1） や OVAD（21.4） といった従来の最先端手法を顕著に上回った。
• OVAD ベンチマークでは、すべての属性で 35.5 mAP を達成し、CLIP-Attr（29.3） や他のベースラインを上回り、特に末尾属性では 9.5 mAP の顕著な向上を示した。
• OVAD におけるクロスデータセット転送評価では、'free'設定下で 33.6 mAP を達成し、OV-Faster-RCNN（18.3） や Detic（13.4） を上回った。
• LSA ベンチマークでは、カテゴリPRIORを用いた場合、ベース属性で 14.84 mAP、新規属性で 8.05 mAP を達成し、同条件で OpenTAP（13.59 と 7.62） を上回った。
• カテゴリPRIORを用いない状況でも、LSA の共通属性で 8.52 mAP、レア属性で 6.17 mAP を達成し、強いゼロショット一般化性能を示した。
• アブレーションスタディの結果、CLIP-Attr から OvarNet への知識蒸留が、特にレア属性や新規属性において性能向上をもたらすことが確認され、統合学習パラダイムの有効性が裏付けられた。

Figure 2 : An overview of the proposed method. Left: the two-step training procedure for finetuning the pre-trained CLIP to get CLIP-Attr that better aligns the regional visual feature to attributes. Step-I: naïve federate training by base attribute annotations. Step-II: training by image-caption pa