[論文レビュー] Contrastive Object Detection Using Knowledge Graph Embeddings

Christopher Lang, Alexander Braun+1 more|arXiv (Cornell University)|Dec 21, 2021

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文は、オブジェクト検出モデルにおけるクラスプロトタイプとして、知識グラフ埋め込み（例：ConceptNet、GloVe）を統合することで、標準の one-hot クラス表現を置き換える手法を提案する。視覚的特徴と意味的埋め込みを一致させるための対照的損失を用いることで、COCO および Cityscapes でベースラインモデルと同等の精度を達成するとともに、特に ConceptNet 埋め込みとコサイン距離を用いることで、より意味的に根拠のある誤分類を実現する。

ABSTRACT

Object recognition for the most part has been approached as a one-hot problem that treats classes to be discrete and unrelated. Each image region has to be assigned to one member of a set of objects, including a background class, disregarding any similarities in the object types. In this work, we compare the error statistics of the class embeddings learned from a one-hot approach with semantically structured embeddings from natural language processing or knowledge graphs that are widely applied in open world object detection. Extensive experimental results on multiple knowledge-embeddings as well as distance metrics indicate that knowledge-based class representations result in more semantically grounded misclassifications while performing on par compared to one-hot methods on the challenging COCO and Cityscapes object detection benchmarks. We generalize our findings to multiple object detection architectures by proposing a knowledge-embedded design for keypoint-based and transformer-based object detection architectures.

研究の動機と目的

• オブジェクト検出における one-hot クラス表現の限界に対処する。これは、クラスを離散的かつ関連のないものとして扱うため、意味的に一貫性のない誤分類を引き起こす。
• 自然言語処理や知識グラフから得られる知識ベースのクラスプロトタイプが、オブジェクト検出の予測における意味的整合性を向上させるかを調査する。
• 異なる知識埋め込みと距離メトリクスが検出性能および誤り分布に与える影響を評価する。
• 二段階検出器、キーポイントベース検出器、トランスフォーマー基盤検出器を含む多様なアーキテクチャへの知識埋め込みアプローチの拡張を試みる。
• 知識埋め込みモデルがカテゴリ間の誤りを減少させ、ゼロショット一般化を向上させるかどうかを分析する。

提案手法

• 検出ヘッドにおける学習可能な one-hot クラスプロトタイプを、事前学習済みの知識グラフ埋め込み（例：ConceptNet、GloVe）としてのクラスプロトタイプに置き換える。
• 視覚的特徴埋め込みと対応する知識グラフ埋め込みを一致させるために、対照的損失を用いる。これにより意味的類似性が促進される。
• Faster R-CNN、CenterNet、DETR アーキテクチャに知識埋め込み分類ヘッドを統合し、エンドツーエンド学習を維持する。
• 視覚的特徴とクラスプロトタイプ間の類似度を計算するために、コサイン距離を主なメトリクスとして採用し、意味的推論を可能にする。
• COCO 2017 および Cityscapes で標準的な学習プロトコルに従い、埋め込みタイプと距離メトリクスのアブレーションスタディを実施する。
• 誤り解析として、one-hot モデルと知識埋め込みモデルの誤り分布の混同行列とジェンセン・シャノン発散の比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 one-hot クラスプロトタイプを知識グラフ埋め込みに置き換えることで、オブジェクト検出における誤分類がより意味的に一貫性を持つようになるか？
• RQ2 異なる知識埋め込み（例：ConceptNet、GloVe）と距離メトリクス（例：コサイン、L2）が検出性能および誤りパターンに与える影響は何か？
• RQ3 知識埋め込み分類ヘッドは、未観測またはレアなオブジェクトカテゴリに better generalization を示すか？
• RQ4 知識埋め込みモデルは、標準の one-hot ベースラインと比較して、カテゴリ間の誤りをどの程度低減するか？
• RQ5 知識埋め込みの統合により、ゼロショットまたはフェイントショットのシナリオにおける検出のロバスト性が向上するか？

主な発見

• 知識埋め込みモデルは、COCO 2017 および Cityscapes ベンチマークで、標準の one-hot ベースラインと同等の平均検出精度を達成する。
• ConceptNet 埋め込みとコサイン距離を用いることで、カテゴリ間の誤りが最小限に抑えられ、誤分類の意味的整合性が向上している。
• 知識埋め込みモデルの誤り分布は、真のカテゴリ構造からのジェンセン・シャノン発散が顕著に低く、より意味的に根拠のある誤りを示している。
• KGEベースのモデルは、未観測オブジェクト（例：スノーモービルを飛行機ではなく車と誤認する）における誤検出が少なく、より良い一般化性能を示している。
• CenterNet アーキテクチャでは、誤り特性の差が最も顕著に現れており、知識埋め込みによるローカライゼーションと分類ヘッドの相互作用が強いことを示唆している。
• 本手法は、二段階検出器、キーポイントベース検出器、トランスフォーマー基盤検出器を含む多様なアーキテクチャに一般化可能であり、広範な適用可能性を確認した。