[論文レビュー] RepGN:Object Detection with Relational Proposal Graph Network

Xingjian Du, Xuan Shi+1 more|arXiv (Cornell University)|Apr 18, 2019

Advanced Neural Network Applications参考文献 36被引用数 10

ひとこと要約

本稿では、空間的および意味的関係をグラフ畳み込みネットワークを用いてモデル化することで、物体検出を向上させる、関係性を考慮したプロポーザルグラフネットワーク（RepGN）を提案する。階層的なグローバルコンテキスト抽出のためのグラフカットベースのプーリング層を統合することで、推論時間のオーバーヘッドを最小限に抑えながら、COCO上でのmAPを最大0.8%向上させた。

ABSTRACT

Region based object detectors achieve the state-of-the-art performance, but few consider to model the relation of proposals. In this paper, we explore the idea of modeling the relationships among the proposals for object detection from the graph learning perspective. Specifically, we present relational proposal graph network (RepGN) which is defined on object proposals and the semantic and spatial relation modeled as the edge. By integrating our RepGN module into object detectors, the relation and context constraints will be introduced to the feature extraction of regions and bounding boxes regression and classification. Besides, we propose a novel graph-cut based pooling layer for hierarchical coarsening of the graph, which empowers the RepGN module to exploit the inter-regional correlation and scene description in a hierarchical manner. We perform extensive experiments on COCO object detection dataset and show promising results.

研究の動機と目的

• 既存の物体検出器がプロポーザルを独立して処理しており、プロポーザル間の関係を活用していないという限界を解消すること。
• グラフベースの学習を用いて、物体プロポーザル間の空間的および意味的関係をモデル化することで、検出精度を向上させること。
• 新しい階層的グラフ粗化機構を用いて、推論速度を損なわずに効率的なグローバルコンテキストの抽出を実現すること。
• Faster R-CNN や Cascade R-CNN といった標準的な検出器に、最小限のアーキテクチャ的変更と計算コストで関係性モデリングを統合すること。

提案手法

• 物体プロポーザルをノードとして表現し、交差領域比（IoU）によって定義されるエッジを用いて空間的および意味的関係を符号化する。
• 出力次元をベースラインと一致させるために、2層のマルチヘッドグラフアテンションネットワーク（GAT）を用いてプロポーザル間の関係特徴を集約する。
• 階層的なグラフの粗化を可能にする、グラフカットベースのプーリング層（GCPool）を導入し、効率的なグローバルコンテキスト抽出を実現する。
• RPNの後またはbbox_head内にRepGNモジュールを挿入することで、関係性特徴が分類および回帰ヘッドの両方を強化できるようにする。
• 元の特徴を保持しつつ関係性表現を融合するために、残差接続スキームを採用する。
• アブレーションと比較のため、ResNet-50およびResNet-101バックボーンを用いたFaster R-CNNおよびCascade R-CNNにRepGNモジュールを適用する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造を用いてプロポーザル間の関係性をモデル化することで、物体検出性能が向上するか？
• RQ2 提案されたグラフカットベースのプーリング層は、物体検出におけるグローバルコンテキスト情報を効果的に捉えられるか？
• RQ3 RepGNによる関係性モデリングの統合は、異なるバックボーンネットワークや検出器アーキテクチャにおいて一貫したmAP向上をもたらすか？
• RQ4 標準的な検出器と比較して、RepGNによる関係性モデリングの追加に伴う計算コストはどの程度か？
• RQ5 空間的特徴、意味的特徴、グローバルコンテキスト特徴のそれぞれが、最終的な検出精度にどのように寄与しているか？

主な発見

• Faster R-CNNにResNet-50を用いた場合、GAT層を並列に追加することでmAPが0.2%向上（0.364 → 0.366）。ResNet-101を用いた場合も0.1%向上（0.386 → 0.387）。
• 完全なRepGN(a)+RepGN(b)+GCPool設定では、ResNet-101を用いたCascade R-CNNでmAPが0.8%向上（0.420 → 0.422）。
• グラフカットプーリング層（GCPool）が最も顕著な向上をもたらし、階層的グローバルコンテキストモデリングの有効性を示している。
• トレーニングおよび推論時間はほとんど変化せず、推論速度はRepGNを搭載した場合が10.2サンプル/秒（非搭載時：10.4サンプル/秒）であり、計算コストの増加は最小限である。
• 複数のバックボーンモデルおよび検出器アーキテクチャにおいて一貫した性能向上が得られ、一般化能の高さが示された。
• アブレーションスタディにより、局所的（空間的および意味的）およびグローバル（GCPool経由）なコンテキストが性能向上に不可欠であることが確認され、特にGCPoolが最も大きな寄与を示した。