[論文レビュー] Bottom-up Object Detection by Grouping Extreme and Center Points

Xingyi Zhou, Jiacheng Zhuo+1 more|arXiv (Cornell University)|Jan 23, 2019

Advanced Neural Network Applications参考文献 41被引用数 107

ひとこと要約

ExtremeNetは各オブジェクトカテゴリについて4つの極点と中心点を検出し、それらを幾何学的にグループ化して境界ボックスを形成する。領域提案なしで COCO の結果と競合する。

ABSTRACT

With the advent of deep learning, object detection drifted from a bottom-up to a top-down recognition problem. State of the art algorithms enumerate a near-exhaustive list of object locations and classify each into: object or not. In this paper, we show that bottom-up approaches still perform competitively. We detect four extreme points (top-most, left-most, bottom-most, right-most) and one center point of objects using a standard keypoint estimation network. We group the five keypoints into a bounding box if they are geometrically aligned. Object detection is then a purely appearance-based keypoint estimation problem, without region classification or implicit feature learning. The proposed method performs on-par with the state-of-the-art region based detection methods, with a bounding box AP of 43.2% on COCO test-dev. In addition, our estimated extreme points directly span a coarse octagonal mask, with a COCO Mask AP of 18.9%, much better than the Mask AP of vanilla bounding boxes. Extreme point guided segmentation further improves this to 34.6% Mask AP.

研究の動機と目的

• ボトムアップの物体検出を、極点と中心点を用いた方法で、トップダウンの領域ベース手法と同等に匹敵させることを動機づけ、実証する。
• 予測されたキーポイントから、純粋に形状情報に基づく幾何学的グルーピング手法を提案し、オブジェクトの境界ボックスを形成する。
• 極点がオブジェクト情報をより豊かに提供し、 octagon fitting による大まかなマスク推定と任意の DEXTR ベースの改良を通じて粗いマスク推定を可能にする。
• ExtremeNet を COCO で評価し、境界ボックスとインスタンスセグメンテーションの指標で、現代のワンステージおよびツーステージ検出器と比較する。

提案手法

• オブジェクトカテゴリごとに5つのヒートマップ（4つの極点: 上、左、下、右、1つの中心点）を、最先端のキーポイント推定ネットワーク（HourglassNet）を用いて予測する。
• 実現可能な四つ組を列挙して幾何学的中心が中心ヒートマップ出力と一致するものを選択することで、極点を検出としてグループ化する。
• 中心グルーピングを閾値付きで用い、5点のキーポイントヒートマップの平均スコアで信頼度を検出する。
• 近くのエッジ応答を強化するためのエッジ集約を任意で適用し、偽陽性を抑制するゴーストボックス抑制を行う。
• 予測された極点からオクタゴンを適合させてインスタンスマスクを近似し、必要に応じて極点をガイダンスとして用いた DEXTR セグメンテーションネットワークで改良する。

実験結果

リサーチクエスチョン

• RQ1 4つの極点と中心点を用いたボトムアップ検出は、領域ベース検出器と比較して境界ボックスの AP を競合させることができるか。
• RQ2 アソシエイティブ埋め込みや領域提案なしの純粋な幾何学的グルーピングが、様々なスケールや遮蔽下で点をオブジェクトに信頼性高く結びつけられるか。
• RQ3 極点ベースのマスク（オクタゴン）と DEXTR ベースの改良は、完全に教師あり手法と比べてインスタンスセグメンテーションでどれくらい性能を発揮するか。

主な発見

• ExtremeNet は COCO の test-dev でマルチスケールテスト時に 43.7% の境界ボックス AP を達成し、最先端のツーステージ検出器に匹敵、また多くのワンステージ手法よりも優れている。
• 中心点グルーピングと幾何学的推論は有効なオブジェクト結合を提供し、中間のアブレーティョンで中心グルーピングやエッジ集約を除くと大幅に低下する。
• 極点から推定されたオクタゴンマスクは COCO val2017 で 18.9% の Mask AP を達成し、単純な境界ボックスマスクより大幅に優れており、DEXTR と組み合わせると 34.6% の Mask AP に達する。
• ゴーストボックス抑制とエッジ集約は控えめながら意味のある改善をもたらし、下向きのグルーピング手法の頑健性を示している。