[論文レビュー] 1st Place Solutions for OpenImage2019 -- Object Detection and Instance Segmentation

Yu Liu, Guanglu Song+6 more|arXiv (Cornell University)|Mar 17, 2020

Advanced Neural Network Applications参考文献 32被引用数 12

ひとこと要約

この論文は、OpenImages 2019 のオブジェクト検出およびインスタンスセグメンテーションチャレンジにおける1位のソリューションを提示する。著者らは、学習可能な空間オフセットを用いて分類と回帰の特徴を分離する、デカップリングヘッド（DH）を導入し、検出性能を顕著に向上させる。さらに、adj-NMS、モデルアンサンブル、およびシンプルなインスタンスセグメンテーションパイプラインを用いて、公開および非公開リーダーボードの両方で最先端のmAPを達成した。

ABSTRACT

This article introduces the solutions of the two champion teams, `MMfruit' for the detection track and `MMfruitSeg' for the segmentation track, in OpenImage Challenge 2019. It is commonly known that for an object detector, the shared feature at the end of the backbone is not appropriate for both classification and regression, which greatly limits the performance of both single stage detector and Faster RCNN \cite{ren2015faster} based detector. In this competition, we observe that even with a shared feature, different locations in one object has completely inconsistent performances for the two tasks. extit{E.g. the features of salient locations are usually good for classification, while those around the object edge are good for regression.} Inspired by this, we propose the Decoupling Head (DH) to disentangle the object classification and regression via the self-learned optimal feature extraction, which leads to a great improvement. Furthermore, we adjust the soft-NMS algorithm to adj-NMS to obtain stable performance improvement. Finally, a well-designed ensemble strategy via voting the bounding box location and confidence is proposed. We will also introduce several training/inferencing strategies and a bag of tricks that give minor improvement. Given those masses of details, we train and aggregate 28 global models with various backbones, heads and 3+2 expert models, and achieves the 1st place on the OpenImage 2019 Object Detection Challenge on the both public and private leadboards. Given such good instance bounding box, we further design a simple instance-level semantic segmentation pipeline and achieve the 1st place on the segmentation challenge.

研究の動機と目的

• 分類と回帰の両方のタスクに最適でない共有特徴がオブジェクト検出器の性能ボトルネックを引き起こす問題に対処すること。
• 共有ヘッド内での分類タスクと回帰タスクの間で生じる特徴表現の空間的不一致を解消すること。
• 新規なヘッド設計および強固なトレーニング／インferencing戦略を通じて、検出およびセグメンテーション性能を向上させること。
• モデルアンサンブルおよびデータ拡張を用いて、OpenImages 2019 の検出およびセグメンテーションベンチマークで最先端の結果を達成すること。

提案手法

• 共有プロポーザルから分類と回帰のための別々で最適化された特徴を生成するために、空間的に適応するオフセットを学習するデカップリングヘッド（DH）を提案する。
• DHの学習を促進するために、分類と回帰の特徴の最適な分離を促すために、制御可能なマージン損失（CML）を導入する。
• 検出性能を安定化させ、局所化精度を向上させるために、修正されたソフトNMSであるadj-NMSを適用する。
• ランダムスケーリングおよび水平反転を含むデータ拡張を用いた、マルチスケールのトレーニングおよび推論戦略を採用して、ロバストネスを向上させる。
• HRNetをバックボーンとして用い、検出されたバウンディングボックスを入力として、クロップベースのトレーニングに活用するシンプルなインスタンスレベルのセマンティックセグメンテーションパイプラインを設計する。
• 28のグローバルモデルと3+2のエキスパートモデルを用いた、投票ベースのアンサンブル手法を採用し、多様なバックボーンおよびヘッドからの予測を統合する。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑さを増さずに、タスク固有の特徴抽出を学習することで、共有検出ヘッドにおける空間的不一致を軽減できるか？
• RQ2 学習可能なオフセットを用いて分離された分類と回帰特徴が、OpenImages のような大規模データセット上で検出mAPにどのように影響を与えるか？
• RQ3 adj-NMSおよびアンサンブル戦略は、アーキテクチャの改善を超えて、検出およびセグメンテーション性能をどの程度向上させられるか？
• RQ4 高品質なオブジェクト検出出力を初期化として用いるシンプルなエンドツーエンドのインスタンスセグメンテーションパイプラインが、トップクラスのパフォーマンスを達成できるか？
• RQ5 マルチスケールトレーニング、データ拡張、および同期バッチ正則化は、一般化性能および最終的なリーダーボードパフォーマンスにどのように寄与するか？

主な発見

• デカップリングヘッド（DH）は、タスク固有の特徴を学習することで、共有ヘッドにおける分類と回帰の根本的矛盾を解消し、検出性能を顕著に向上させる。
• adj-NMSの使用により、標準的なソフトNMSに比べて安定した性能向上が得られ、特に誤検出の削減と局所化精度の向上に寄与する。
• 最終的な検出モデルは、公開テストセットで68%のmAPを達成し、最良の非公開リーダーボードスコアは67%を超えるmAPを記録し、優れた一般化性能を示した。
• HRNetをベースとし、検出されたバウンディングボックスを入力として用いたインスタンスセグメンテーションパイプラインは、公開リーダーボードで55.39%のmAPを達成し、アンサンブルモデルは55.39%のmAPを記録した。
• 28のグローバルモデルとエキスパートモデルのアンサンブルに投票ベースの統合を組み合わせた手法が、検出およびセグメンテーションの両タスクで最高のパフォーマンスを達成した。
• 多様な入力スケールとデータ拡張戦略（例：ランダムスケーリング、反転）を用いたトレーニングは、特にセグメンテーションタスクでロバストネスとmAPの向上に寄与した。