[論文レビュー] Objects in Semantic Topology

Shuo Yang, Peize Sun+7 more|arXiv (Cornell University)|Oct 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 15

ひとこと要約

本稿では、未知のオブジェクトを背景として扱う既存のオープンワールドオブジェクト検出器の限界を克服し、特徴表現の判別性と一貫性を強制するために、事前に定義された意味的ノード（「未知」カテゴリを含む）にオブジェクトインスタンスを割り当てる統合フレームワーク「セマンティックトポロジー」を提案する。段階的学習中にトポロジーの一貫性を維持することで、最先端手法（SOTA）と比較してオープンセット誤差を60％以上低減し、COCO-OpenWorldで2,120の絶対的オープンセット誤差（ASE）を達成した。

ABSTRACT

A more realistic object detection paradigm, Open-World Object Detection, has arisen increasing research interests in the community recently. A qualified open-world object detector can not only identify objects of known categories, but also discover unknown objects, and incrementally learn to categorize them when their annotations progressively arrive. Previous works rely on independent modules to recognize unknown categories and perform incremental learning, respectively. In this paper, we provide a unified perspective: Semantic Topology. During the life-long learning of an open-world object detector, all object instances from the same category are assigned to their corresponding pre-defined node in the semantic topology, including the `unknown' category. This constraint builds up discriminative feature representations and consistent relationships among objects, thus enabling the detector to distinguish unknown objects out of the known categories, as well as making learned features of known objects undistorted when learning new categories incrementally. Extensive experiments demonstrate that semantic topology, either randomly-generated or derived from a well-trained language model, could outperform the current state-of-the-art open-world object detectors by a large margin, e.g., the absolute open-set error is reduced from 7832 to 2546, exhibiting the inherent superiority of semantic topology on open-world object detection.

研究の動機と目的

• 未知のオブジェクトを背景として扱う現在のオープンワールドオブジェクト検出器が段階的学習中に深刻な忘れを起こすという問題を是正すること。
• 未知オブジェクト認識と段階的学習を統合したフレームワークとして、生涯にわたるオブジェクト検出における堅牢性と一貫性を向上させること。
• すべてのカテゴリ（未知を含む）が事前に定義された意味的ノードにマッピングされる形式化されたトポロジーに基づく表現を確立し、特徴の判別性と一貫性を保証すること。
• ランダムに生成された意味的アンカーですらSOTAを上回ることを示し、オープンワールド学習におけるトポロジー一貫性の本質的価値を実証すること。

提案手法

• 共有埋め込み空間内に事前に定義されたノード（重心）にオブジェクトカテゴリ（既知または未知）をマッピングする意味的トポロジーを定義する。
• オブジェクト特徴を対応する意味的ノードの周囲にクラスタリングするための意味的アンカー損失（$\mathcal{L}_{sa}$）を導入し、クラス内コンパクト性を強制する。
• ノードレベルで既知と未知のカテゴリを区別するための意味的アンカー分類損失（$\mathcal{L}_{cls_{se}}$）を適用する。
• 既知カテゴリ認識のための標準的なRoI特徴分類損失（$\mathcal{L}_{cls_{roi}}$）を用い、既存の検出器との互換性を確保する。
• トポロジーを定義するために、事前学習済み言語モデル（例：CLIP、BERT）またはランダムベクトルを用いて意味的アンカーを生成し、柔軟性とスケーラビリティを実現する。
• 段階的学習の各ステップでトポロジーの一貫性を維持し、事前に学習した既知カテゴリの特徴の歪みを防ぐ。

実験結果

リサーチクエスチョン

• RQ1 意味的トポロジーに基づく統合フレームワークは、オープンワールドオブジェクト検出における未知オブジェクト認識と段階的学習の両方を向上させ得るか？
• RQ2 特徴トポロジーの一貫性を強制することで、段階的学習における深刻な忘れの緩和にどの程度寄与するか？
• RQ3 明示的な意味的事前知識がなくとも、ランダムまたは事前学習済みの意味的アンカーは、SOTA手法をどの程度上回るか？
• RQ4 意味的アンカークラスタリング損失と分類損失の相対的寄与度は、全体の検出性能にどの程度影響を与えるか？
• RQ5 提案手法のトポロジーに基づくアプローチは、段階的または独立モジュールベースの手法と比較して、オープンセット誤差をより効果的に低減するか？

主な発見

• セマンティックトポロジーは、COCO-OpenWorldで絶対的オープンセット誤差（ASE）をSOTAの7,832から2,120にまで低減させ、相対的に73％の削減を達成した。
• CLIP や BERT から得た意味的アンカーを用いることで、SOTAの性能を上回り、ASEが2,120、mAPが30.11に達した。これはmAPでOREを10.5％上回った。
• ランダムに生成された意味的アンカーですらOREを上回り、ASEが2,546、mAPが29.53を達成した。これはトポロジー一貫性そのものの本質的利点を示している。
• アブレーションスタディにより、意味的アンカークラスタリング損失（$\mathcal{L}_{sa}$）と分類損失（$\mathcal{L}_{cls_{se}}$）の両方が、効果的な未知検出に不可欠であることが確認された。
• 全損失を組み合わせた完全なモデルが最良の性能を示し、ASEが2,120、mAPが30.11を達成した。これは、各構成要素が補完的かつ相乗的に作用していることを示している。
• 本手法は段階的タスクの全過程で安定した性能を維持し、既知カテゴリの特徴に最小限の歪みを生じさせた。これは意味的トポロジーの一貫性が裏付けられた。