[論文レビュー] OD-GCN object detection by knowledge graph with GCN.

Zheng Liu, Zidong Jiang+1 more|arXiv (Cornell University)|Aug 6, 2019

Advanced Neural Network Applications参考文献 5被引用数 4

ひとこと要約

本論文では、オブジェクトカテゴリの関係性をモデル化することで検出精度を向上させる、知識グラフを強化したオブジェクト検出フレームワークOD-GCNを提案する。共起するオブジェクトの知識グラフを構築し、事前学習済み検出器の上流にグラフ畳み込みネットワーク（GCN）を適用することで、COCOデータセット上で複数のモデルにおいてmAPが1–5パーセンテージポイント向上し、人間による検証済みの改善が得られた。

ABSTRACT

Classical object detection methods only extract the objects' image features via CNN, lack of utilizing the relationship among objects in the same image. In this article, we introduce the graph convolutional networks (GCN) into the object detection field and propose a new framework called OD-GCN (object detection with graph convolutional network). It utilizes the category relationship to improve the detection precision. We set up a knowledge graph to reflect the co-exist relationships among objects. GCN plays the role of post-processing to adjust the output of base object detection models, so it is a flexible framework that any pre-trained object detection models can be used as the base model. In experiments, we try several popular base detection models. OD-GCN always improve mAP by 1-5pp on COCO dataset. In addition, visualized analysis reveals the benchmark improvement is quite reasonable in human's opinion.

研究の動機と目的

• 従来のオブジェクト検出器が画像内の対象間の関係性を無視するという限界を解決すること。
• オブジェクト間の意味的および共起関係を組み込むことで検出精度を向上させること。
• あらゆる事前学習済みオブジェクト検出モデルと互換性がある柔軟なフレームワークを設計すること。
• グラフベースの推論が人間が理解できる形で検出性能を向上させることを検証すること。

提案手法

• 事前知識を用いて、オブジェクトクラス間の共起およびカテゴリ関係をエンコードした知識グラフを構築する。
• グラフ畳み込みネットワーク（GCN）を用いて、知識グラフ内のノード間を伝播する関係情報によってオブジェクト検出スコアを精緻化する。
• ベースライン検出器の出力後に適用されるポストプロセッシングモジュールとしてGCNを統合し、モデルに依存しない柔軟性を維持する。
• GCN部をエンドツーエンドまたはファインチューニングの形で学習させ、文脈的関係に基づいて検出信頼度スコアを調整する。
• 事前学習済みモデル（例：Faster R-CNN、RetinaNet）のオブジェクト検出特徴量を、GCNベースの精緻化段階の入力として利用する。
• 視覚的アテンションと特徴量伝播を適用することで、バックボーンネットワークを変更せずに文脈に配慮した予測を向上させる。

実験結果

リサーチクエスチョン

• RQ1 知識グラフを用いて対象間の関係性をモデル化することで、オブジェクト検出性能が向上するか？
• RQ2 GCNベースのポストプロセッシングは、多様なベースライン検出器において検出スコアの精緻化にどの程度有効か？
• RQ3 OD-GCNによる改善は、人間が検出品質を評価する直感と整合性を示すか？
• RQ4 このフレームワークは、さまざまなオブジェクト検出アーキテクチャにどの程度一般化可能か？

主な発見

• OD-GCNは、COCOデータセット上で複数のベースラインオブジェクト検出モデルにおいて、平均平均精度（mAP）を1–5パーセンテージポイント向上させた。
• 性能向上は、さまざまなバックボーンネットワークにわたり一貫しており、フレームワークの一般化性と柔軟性を示している。
• 可視化結果から、モデルが人間の直感に合致した、妥当なオブジェクトの共起を想定した誤検出の是正を実行していることが示された。
• 知識グラフは意味的および文脈的関係を効果的にエンコードしており、GCNが関係性の文脈を用いて予測を精緻化できるようにしている。
• GCNのポストプロセッシング特性のおかげで、モデルを再学習せずにあらゆる事前学習済み検出器と統合可能である。