[論文レビュー] The Devil is in Classification: A Simple Framework for Long-tail Object Detection and Instance Segmentation

Tao Wang, Yu Li+6 more|arXiv (Cornell University)|Jul 23, 2020

Advanced Neural Network Applications参考文献 38被引用数 4

ひとこと要約

本論文では、Mask R-CNN などの2段階モデルにおける分類ヘッドのバイアスを是正することで、長尾インスタンスセグメンテーションを改善するシンプルで効果的なキャリブレーションフレームワーク、SimCalを提案する。バイレベルクラスバランスサンプリングを用いて、代表が不足しているクラスの分類ヘッドを再訓練し、オリジナルのヘッドとキャリブレーション済みヘッドの予測を新規のアンサンブル戦略で統合することで、LVISおよびCOCO-LTで最先端の性能を達成。ヘッドクラスの性能を損なわず、テイルクラスのAPを顕著に向上させた。

ABSTRACT

Most existing object instance detection and segmentation models only work well on fairly balanced benchmarks where per-category training sample numbers are comparable, such as COCO. They tend to suffer performance drop on realistic datasets that are usually long-tailed. This work aims to study and address such open challenges. Specifically, we systematically investigate performance drop of the state-of-the-art two-stage instance segmentation model Mask R-CNN on the recent long-tail LVIS dataset, and unveil that a major cause is the inaccurate classification of object proposals. Based on such an observation, we first consider various techniques for improving long-tail classification performance which indeed enhance instance segmentation results. We then propose a simple calibration framework to more effectively alleviate classification head bias with a bi-level class balanced sampling approach. Without bells and whistles, it significantly boosts the performance of instance segmentation for tail classes on the recent LVIS dataset and our sampled COCO-LT dataset. Our analysis provides useful insights for solving long-tail instance detection and segmentation problems, and the straightforward \emph{SimCal} method can serve as a simple but strong baseline. With the method we have won the 2019 LVIS challenge. Codes and models are available at https://github.com/twangnh/SimCal.

研究の動機と目的

• Mask R-CNN などの最先端の2段階インスタンスセグメンテーションモデルが、LVIS のような長尾データセットで性能を発揮できない理由を調査すること。
• テイルクラスでの性能低下の主な要因として、オブジェクトプロポーザルの不正確な分類を特定すること。
• フルモデルの再訓練を必要とせず、分類ヘッドの性能を向上させるシンプルで効果的なキャリブレーションフレームワークを開発すること。
• ヘッドクラスの高い性能を維持しつつ、長尾（テイル）クラスの性能を顕著に向上させること。
• 既存モデルに簡単に統合可能な、強力で実用的な長尾インスタンスセグメンテーションのベースラインを提供すること。

提案手法

• 分類ヘッドを標準トレーニング後に分離してキャリブレーションする学習スキームを提案。クラスバランスを取るために、画像レベルとインスタンスレベルの両方のサンプリングを組み合わせたバイレベルサンプリング戦略を採用する。
• すべてのカテゴリにわたってクラスバランスが取れたプロポーザルサンプルを収集するための新しいバイレベルサンプリング手法を導入。特に、テイルクラスの表現を向上させる。
• 標準的な交差エントロピー損失を用いて、バランスされたプロポーザルセット上で分類ヘッドのみを再訓練し、検出器およびマスクヘッドへの干渉を最小限に抑える。
• オリジナル分類ヘッドとキャリブレーション済み分類ヘッドの予測を統合する二重ヘッド推論戦略を導入。新規の出力結合手法（sel）を用いることで、平均化やNMSベースの統合よりも優れた性能を達成。
• オリジナルヘッドとキャリブレーション済みヘッドの信頼度スコアを整合させるためのスケーリングおよび正規化戦略（sel-scale, sel-norm）を適用。これにより、検出品質が向上。
• キャリブレーション中にシンプルで固定の初期学習率（0.01）を用いる。これは標準トレーニングと一致し、広範なハイパーパramータチューニングの必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 なぜ最先端の2段階インスタンスセグメンテーションモデル（例：Mask R-CNN）は、LVIS のような長尾データセットで失敗するのか？
• RQ2 不均衡なトレーニングサンプルによって生じる分類ヘッドのバイアスは、テイルクラスでの性能低下にどの程度寄与しているのか？
• RQ3 フルモデルの再トレーニングを必要とせず、分類ヘッドの単純なポストトレーニングキャリブレーションが、長尾インスタンスセグメンテーションの性能を顕著に向上させられるか？
• RQ4 オリジナル分類ヘッドとキャリブレーション済み分類ヘッドの予測を最適に統合する戦略は何か？すべてのクラスで最高の性能を発揮するには？
• RQ5 キャリブレーションによる性能向上は、分類ヘッドのどの層をファインチューニングするかに依存するか？

主な発見

• 長尾データセットでの性能低下の主な要因は、RPNの品質ではなく、オブジェクトプロポーザルの分類の不正確さである。
• ResNet-50-FPN を用いた LVIS データセットで SimCal は 23.4 AP を達成。ベースラインの 18.0 AP に対して 5.4 ポints の上昇を記録。テイルクラスの AP_f は 16.4 から 22.5 に上昇。
• 提案された統合手法（sel）は 21.1 AP を達成。平均化（20.3 AP）や NMS ベースの統合（19.8 AP）を上回る性能を発揮。
• 3層すべての分類ヘッドをキャリブレーションすると最良の性能（22.2 AP）が得られ、最後の2層や1層のみの部分的キャリブレーションを上回る。
• キャリブレーションの最適な学習率は 0.01 であり、標準トレーニングと一致。これは、ファインチューニングで一般的に用いられる低学習率を必要としないことを示唆。
• テイルクラスでは性能のばらつきが顕著に大きい（例：AP_f の標準偏差が 1.3）。これは長尾学習の難易度を裏付ける。一方、ヘッドクラスは豊富なトレーニングデータのおかげで低いばらつきを示す。