[論文レビュー] Frustratingly Simple but Effective Zero-shot Detection and Segmentation: Analysis and a Strong Baseline

Siddhesh Khandelwal, Anirudth Nambirajan+3 more|arXiv (Cornell University)|Feb 14, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、事前学習済みの視覚的言語埋め込み（例：CLIP）と二段階訓練プロセスを活用することで、複雑な最先端モデルを上回る、シンプルでありながら非常に効果的なゼロショット物体検出およびインスタンスセグメンテーション手法を提案する。この手法はMSCOCOで最先端の性能を達成しており、挑戦的なゼロショットスプリットにおいて、先行手法と比較してmAPが最大37.3%高く、再現率が19.6%高い。

ABSTRACT

Methods for object detection and segmentation often require abundant instance-level annotations for training, which are time-consuming and expensive to collect. To address this, the task of zero-shot object detection (or segmentation) aims at learning effective methods for identifying and localizing object instances for the categories that have no supervision available. Constructing architectures for these tasks requires choosing from a myriad of design options, ranging from the form of the class encoding used to transfer information from seen to unseen categories, to the nature of the function being optimized for learning. In this work, we extensively study these design choices, and carefully construct a simple yet extremely effective zero-shot recognition method. Through extensive experiments on the MSCOCO dataset on object detection and segmentation, we highlight that our proposed method outperforms existing, considerably more complex, architectures. Our findings and method, which we propose as a competitive future baseline, point towards the need to revisit some of the recent design trends in zero-shot detection / segmentation.

研究の動機と目的

• 物体検出およびセグメンテーションにおけるインスタンスレベルのアノテーションの高コストと希少性に対処し、未学習のカテゴリに一般化可能なゼロショット一般化を可能にする。
• 埋め込みタイプ、損失関数、モデルアーキテクチャといった重要な設計選択がゼロショット性能に与える影響を調査する。
• 複雑なアーキテクチャの設計が主流である傾向に挑戦し、洗練されたアブレーションを伴う単純さが優れた結果をもたらす可能性を示す。
• 今後のゼロショット検出およびセグメンテーション分野の研究のための強固で再現可能なベースラインを確立する。
• CLIPのような高品質な事前学習済み意味的埋め込みの、まだ十分に探査されていないゼロショット転送の可能性を強調する。

提案手法

• 本手法は二段階訓練プロセスを用いる：まず、境界ボックスおよびマスクアノテーションを用いて、見たことのあるカテゴリでFaster R-CNNまたはMask R-CNN検出器を事前学習する。
• 第二段階では、画像特徴を意味的埋め込み空間にマップするため、クロスエントロピー損失を用いてプロジェクションヘッドをファインチューニングする。
• 未学習のカテゴリの意味的埋め込みは、CLIPやGloVeなどの事前学習モデルから得られ、追加の教師信号なしにゼロショット転送を可能にする。
• 推論時に分類スコアを計算するために、正規化されたクラス名埋め込みを活用し、未学習クラスの検出およびセグメンテーションを実現する。
• ファインチューニング中は標準のクロスエントロピー損失を用い、複雑な補助損失関数やアテンションメカニズムを避ける。
• 最終的な推論では、領域候補と意味的埋め込み類似度を組み合わせることで、学習済みおよび未学習カテゴリのインスタンスを予測する。

Figure 2 : Proposed Approach with Two-step Training. The first step trains the learnable parameters of a Faster [ 37 ] / Mask [ 13 ] RCNN architecture using the seen category annotations. The second step freezes these parameters, and learns the projection matrices which, along with the semantic embe

実験結果

リサーチクエスチョン

• RQ1 Word2VecとCLIPなどの異なる意味的埋め込みの選択が、ゼロショット検出およびセグメンテーション性能に与える影響は何か？
• RQ2 最小限の設計複雑性を持つ単純なモデルアーキテクチャが、より複雑な最先端モデルを上回る性能を発揮するか？
• RQ3 損失関数、モデル容量、推論戦略の相対的な影響は、ゼロショット一般化にどの程度寄与するか？
• RQ4 ファインチューニングされたプロジェクションヘッドを用いた二段階訓練プロセスが、アーキテクチャの複雑さなしに最先端の性能を達成できるか？
• RQ5 アーキテクチャ的革新と比較して、埋め込みソースの選択が性能に与える影響はどの程度大きいのか？

主な発見

• CLIP埋め込みを用いた本手法（F+CLIP）は、ゼロショット検出における48/17スプリットで、先行する最先端手法と比較してmAPが37.3%向上し、再現率が13.1%向上した。
• より挑戦的な一般化ゼロショット検出（GZSD）設定において、F+CLIPバージョンは最も近いベースラインと比較して、調和平均mAPで平均11%の向上を達成した。
• ゼロショットインスタンスセグメンテーションにおいて、本手法は両スプリットでHM mAPで117.4%の向上、HM再現率で12.8%の向上を達成し、先行する最先端手法を上回った。
• CLIP埋め込みの使用は、Word2Vecよりも顕著に優れた性能をもたらし、高品質な視覚的言語事前学習の重要性を示している。
• 単純さにもかかわらず、より複雑なアーキテクチャを上回る性能を発揮しており、強力なゼロショット一般化にはアーキテクチャの複雑さが必須でないことが示唆された。
• アブレーションスタディの結果、アーキテクチャ設計の選択よりも意味的埋め込みの選択が性能に与える影響がより大きいことが判明した。これは、先行研究でしばしば無視されがちな要因である。