[論文レビュー] Classification Calibration for Long-tail Instance Segmentation

Tao Wang, Yu Li+6 more|arXiv (Cornell University)|Oct 29, 2019

Advanced Neural Network Applications参考文献 9被引用数 9

ひとこと要約

本論文では、LVISのような長尾データセットにおけるインスタンスセグメンテーション性能を向上させる分類キャリブレーション手法を提案する。クラスバランスサンプリングを用いて分類ヘッドを再訓練することで、アーキテクチャの変更なしにレアクラスの認識を著しく向上させる。真のプロポーザルラベルを用いる場合、(0,10)のテイルクラスボックスにおけるmAPは0.0から39.7に上昇する。アンサンブルおよびマルチスケール推論を適用した場合、LVISテストセットで37.05 APを達成し、特に希少カテゴリで顕著な向上を示す。

ABSTRACT

Remarkable progress has been made in object instance detection and segmentation in recent years. However, existing state-of-the-art methods are mostly evaluated with fairly balanced and class-limited benchmarks, such as Microsoft COCO dataset [8]. In this report, we investigate the performance drop phenomenon of state-of-the-art two-stage instance segmentation models when processing extreme long-tail training data based on the LVIS [5] dataset, and find a major cause is the inaccurate classification of object proposals. Based on this observation, we propose to calibrate the prediction of classification head to improve recognition performance for the tail classes. Without much additional cost and modification of the detection model architecture, our calibration method improves the performance of the baseline by a large margin on the tail classes. Codes will be available. Importantly, after the submission, we find significant improvement can be further achieved by modifying the calibration head, which we will update later.

研究の動機と目的

• LVISのような長尾データセットにおける最先端の2段階型インスタンスセグメンテーションモデルの性能低下を是正すること。
• 特に不正確なプロポーザル分類が原因である、テイルクラス認識の劣化の根本的要因を同定・是正すること。
• 検出モデルアーキテクチャを変更せずに、極めて少ない学習インスタンス（例：10未満）を有するレアクラスの認識を向上させること。
• 長尾データ向けに効果的かつ軽量なキャリブレーション手法を開発し、プロポーザル分類の正確性を向上させること。
• 頻度の高いクラスの性能を維持したまま、レアクラスおよび長尾クラスにおいて既存の画像レベルの繰り返しサンプリングベースラインを上回ること。

提案手法

• 1バッチあたり16クラスと1枚の画像を1クラスあたりサンプリングするクラスバランスサンプリングを用いて、分類ヘッドを再訓練することで、希少カテゴリの学習を改善する。
• 元の分類ヘッドと再訓練済み分類ヘッドの予測を統合することで、モデルアーキテクチャを変更せずに最終予測をキャリブレーションする。
• 評価時にプロポーザルに対して真のクラスラベルを用いることで、性能の悪化がプロポーザル生成の問題ではなく分類エラーに起因することを確認する。
• キャリブレーション手法が、Mask R-CNNとより複雑なハイブリッドタスクカスケード（HTC）モデルの両方で有効であることを検証する。
• COCOおよびCOCO-Stuffの外部データを活用して事前学習およびセマンティックヘッドの監視を実施し、全体の性能を向上させる。
• アンサンブルおよびマルチスケール推論を適用して、LVISテストセットにおける最終性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 最先端のインスタンスセグメンテーションモデルがLVISのような長尾データセットで性能を発揮できないのはなぜか？
• RQ2 性能低下の主な要因は、プロポーザル生成の悪さか、プロポーザル分類の不正確さか？
• RQ3 バランスサンプリングで分類ヘッドを再訓練することで、希少クラスの認識が著しく向上するか？
• RQ4 本手法の性能は、画像レベルの繰り返しサンプリングと比較して、テイルクラスでどのように異なるか？
• RQ5 本キャリブレーション手法は、HTCのような複雑なマルチステージモデルに対しても、頻度の高いクラスの性能を損なわず有効に適用可能か？

主な発見

• ベースラインのMask R-CNNは、(0,10)のテイルクラスボックスでmAPが0.0にとどまり、希少オブジェクトの認識に著しい失敗を示している。
• LVISではCOCOと比較してプロポーザルリcallが8.8%低下し、APは45.1%低下しており、分類精度の低下が主なボトルネックであることを確認している。
• プロポーザルに真のラベルを用いることで、(0,10)ボックスのmAPが39.7に上昇し、根本的な原因が分類エラーであることを実証している。
• 提案手法により、Mask R-CNNでは(0,10)ボックスのmAPが0.0から8.6に、HTCでは12.7に上昇し、希少クラスで顕著な向上を示している。
• アンサンブルおよびマルチスケール推論を適用した最終モデルは、LVISテストセットで39.21 APを達成し、最良のベースライン（30.0 AP）を著しく上回っている。
• 本手法は(0,10)ボックスで画像レベルの繰り返しサンプリングを上回り、多数枚クラスでも性能低下が少ないことから、より優れた一般化性能を示している。