[論文レビュー] Dense RepPoints: Representing Visual Objects with Dense Point Sets

Ze Yang, Yinghao Xu+6 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Image and Video Retrieval Techniques参考文献 55被引用数 16

ひとこと要約

本稿では、ボックスレベルおよびピクセルレベルの両方で物体をモデル化する、属性付き点集合を用いた一貫したオブジェクト表現であるDense RepPointsを提案する。距離変換サンプリング、集合対集合の監視、デローニー三角形分割を組み合わせることで、ResNeXt-101-DCNを用いたCOCO test-devで48.9 mAPという最先端性能を達成した。同時に、グループプーリングと共有フィールドを用いることで、点数の増加に対してもほぼ一定の計算複雑性を維持している。

ABSTRACT

We present a new object representation, called Dense RepPoints, that utilizes a large set of points to describe an object at multiple levels, including both box level and pixel level. Techniques are proposed to efficiently process these dense points, maintaining near-constant complexity with increasing point numbers. Dense RepPoints is shown to represent and learn object segments well, with the use of a novel distance transform sampling method combined with set-to-set supervision. The distance transform sampling combines the strengths of contour and grid representations, leading to performance that surpasses counterparts based on contours or grids. Code is available at \url{https://github.com/justimyhxu/Dense-RepPoints}.

研究の動機と目的

• 物体検出からピクセルレベルのマスクまで、複数の粒度にわたる視覚的物体を効果的にモデル化できる一貫したオブジェクト表現の開発。
• スパarsな点表現（例：RepPoints）やグリッド／マスクベースの手法が、細かい幾何的構造を捉えるのには限界があることの克服。
• 線形な複雑性の増加を伴わずに、密度の高い点集合に対する効率的な学習と推論の実現。
• 点ベースのマスク表現に対する新しいサンプリングおよび監視戦略の導入により、インスタンスセグメンテーション性能の向上。
• 密度の高い点集合が、検出およびセグメンテーションの両タスクを向上させる柔軟で統合的な表現として機能できることの実証。

提案手法

• 正例マスクの境界を距離変換マップに基づいて確率的サンプリングする点集合に変換する距離変換サンプリング（DTS）を提案。
• 固定された点対点対応を避ける集合対集合の監視損失を導入し、インスタンスセグメンテーションの訓練においてより頑健で意味的意味のある学習を可能に。
• 学習済みの非グリッドな密度の高いRepPointsを補間により高解像度のインスタンスマスクに変換するためにデローニー三角形分割を採用。
• 点数の増加に対しても、グループプーリングと共有オフセット／属性フィールドを用いることで、推論の計算複雑性をほぼ一定に維持。
• 点の位置と属性をエンドツーエンドで予測するための、ResNetベースのバックボーンとアダプティブなポイントヘッドを採用。
• 同じ密度の高い点表現が物体検出とインスタンスセグメンテーションの両方をサポートする統一フレームワークを活用。

実験結果

リサーチクエスチョン

• RQ1 密度の高い点集合表現は、単一のフレームワーク内で物体検出とインスタンスセグメンテーションを効果的に統合できるか？
• RQ2 線形な複雑性の増加を伴わずに、詳細な物体の幾何構造をモデル化するための効率的な点集合のサンプリングと監視は可能か？
• RQ3 距離変換サンプリングを用いた点ベースの表現は、従来の輪郭またはグリッドマスク表現を上回るセグメンテーション精度を達成できるか？
• RQ4 属性スコアの予測と点の局所化の最適化により、密度の高い点ベースのモデルの性能はどの程度向上できるか？
• RQ5 検出とセグメンテーションタスク間で共有された特徴を有する統一表現は、全体の認識性能を向上させることができるか？

主な発見

• ResNeXt-101-DCNバックボーンを用いたCOCO test-devで48.9 mAPを達成し、ATSS（47.7 mAP）を上回る最先端性能を示した。
• ResNet-101バックボーンを用いた場合、ボックスmAPは45.6、マスクmAPは39.1を達成し、RepPointsおよびMask R-CNNを上回った。
• 上限解析の結果、完璧な属性スコアが得られた場合、ResNet-50を用いればmAPは39.4に達し、点数が729に達するとIoUは95％を超えた。
• 集合対集合の監視損失は、点対点監視よりも一般化性能が優れており、特に細かい幾何的モデリングにおいて顕著に効果を示した。
• DTSとデローニー三角形分割の組み合わせにより、正例の点とスコアが与えられた場合、マスク再構成の精度が非常に高く（IoU > 95％）なった。
• グループプーリングと共有フィールドにより、点数の増加に対しても計算複雑性がほぼ一定を保ち、密度の高い点集合における効率的な推論を実現した。