[論文レビュー] Point-Set Anchors for Object Detection, Instance Segmentation and Pose Estimation

Fangyun Wei, Xiao Sun+3 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Neural Network Applications参考文献 48被引用数 15

ひとこと要約

この論文では、キーポイント回帰の性能を向上させるために、従来のアンカーボックスをタスク固有の点集合に置き換える汎用フレームワーク「Point-Set Anchors」を提案する。特徴抽出の中心として、ポーズモードやバウンディングボックスの縁など、幾何的に意味のある位置に点をサンプリングすることで、オブジェクト検出、インスタンスセグメンテーション、およびヒューマンポーズ推定において、最先端の性能を達成した。特に、MS COCO ポーズ推定において、CenterNet を 5.7 AP 上回った。

ABSTRACT

A recent approach for object detection and human pose estimation is to regress bounding boxes or human keypoints from a central point on the object or person. While this center-point regression is simple and efficient, we argue that the image features extracted at a central point contain limited information for predicting distant keypoints or bounding box boundaries, due to object deformation and scale/orientation variation. To facilitate inference, we propose to instead perform regression from a set of points placed at more advantageous positions. This point set is arranged to reflect a good initialization for the given task, such as modes in the training data for pose estimation, which lie closer to the ground truth than the central point and provide more informative features for regression. As the utility of a point set depends on how well its scale, aspect ratio and rotation matches the target, we adopt the anchor box technique of sampling these transformations to generate additional point-set candidates. We apply this proposed framework, called Point-Set Anchors, to object detection, instance segmentation, and human pose estimation. Our results show that this general-purpose approach can achieve performance competitive with state-of-the-art methods for each of these tasks. Code is available at \url{https://github.com/FangyunWei/PointSetAnchor}

研究の動機と目的

• スケール、向き、変形の変動に起因して、中心点からの特徴量に遠く離れたキーポイントの情報が不足する、オブジェクト検出およびポーズ推定における中心点回帰の限界を解消すること。
• 単一の中心点ではなく、回帰プロセスの初期化をより良くするように戦略的に配置された点の集合を用いることで、キーポイント回帰の特徴表現力を向上させること。
• アンカーボックスの概念を一般化し、スケール、アスペクト比、向きにわたる点集合アンカーフレームワークを導入することで、多様な物体形状やポーズに対応すること。
• RetinaNet のアンカーボックスを点集合アンカーフレームワークに置き換え、複数のタスクにわたるキーポイント予測のための並列回帰ヘッドを追加した、統一的フレームワーク PointSetNet を開発すること。
• 同一で柔軟なアーキテクチャを用いて、オブジェクト検出、インスタンスセグメンテーション、ヒューマンポーズ推定の各タスクで競争力のある性能を示すこと。

提案手法

• アンカーボックスの一般化として、タスク固有で幾何的に有利な位置（例：ポーズモード、バウンディングボックスの縁）に配置された点の集合である Point-Set Anchors を提案する。
• アンカーボックスにインspiredされたマルチスケール・マルチオリエンテーションのサンプリング戦略を用い、ターゲットのスケール、アスペクト比、回転に一致する多様な点集合候補を生成する。
• PointSetNet を、RetinaNet を変更して開発：アンカーボックスを点集合アンカーフレームワークに置き換え、キーポイントオフセットを予測する並列回帰ヘッドを追加する。
• インスタンスセグメンテーションでは、暗黙のバウンディングボックスの縁に一様に点をサンプリングし、マスク境界を表現する。
• ポーズ推定では、学習データに頻出するポーズ構成に基づいて点集合を初期化することで、特徴品質と回帰精度を向上させる。
• マルチステージの最適化を適用：後続の段階でより高い OKS サブセット閾値を用いることで、より正確な候補の予測を精緻化し、局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 中心点回帰をタスク固有の点集合に置き換えることで、オブジェクト検出およびポーズ推定におけるキーポイント局所化性能が向上するか？
• RQ2 点集合の構成（例：ポーズモード、境界点）の選択が、特徴品質および回帰性能に与える影響はいかほどか？
• RQ3 点集合アンカーフレームワークが、オブジェクト検出、インスタンスセグメンテーション、ヒューマンポーズ推定といった異なるタスクにどの程度一般化可能か？
• RQ4 段階的なフィンガーリングを用い、徐々に厳しい正例サンプル閾値を適用することで、キーポイント回帰タスクの性能が向上するか？
• RQ5 バックボーンネットワークおよびマルチスケールテストが、PointSetNet フレームワークの性能に与える影響はいかほどか？

主な発見

• Point-Set Anchors はキーポイント回帰を顕著に向上させる：9 個のキーポイントを特徴として使用した場合、46.0 AP を達成し、同じ数の点を用いた中心点特徴と比較して 3.2 AP（相対で 7.5%）の向上を示した。
• マルチステージの最適化により、性能が 9.7 AP（相対で 20.1%）向上し、第2段階で 58.0 AP を達成したのに対し、第1段階では 48.3 AP であった。
• より強力なバックボーン（HRNet-W48）とマルチスケールテストを組み合わせることで、AP は 62.5 から 69.8 に上昇し、7.3 AP の向上を示した。これは、フレームワークのスケーラビリティを示している。
• PointSetNet は MS COCO test-dev2017 で 68.7 AP を達成し、CenterNet（63.0 AP）を 5.7 AP 上回り、最先端の手法と同等の競争力を持つことを示した。
• 同一の統一アーキテクチャを用いて、オブジェクト検出、インスタンスセグメンテーション、ポーズ推定のすべてのタスクで SOTA（最先端）の性能を達成した。
• アブレーションスタディにより、形状インデックス特徴の主な利点が分類ではなくポーズ回帰の向上にあることが確認された。分類性能への改善は顕著でなかったが、回帰ヘッドでの改善が最も顕著であった。