[論文レビュー] On Model Calibration for Long-Tailed Object Detection and Instance Segmentation

Tai-Yu Pan, Cheng Zhang+6 more|arXiv (Cornell University)|Jul 5, 2021

Advanced Neural Network Applications参考文献 69被引用数 27

ひとこと要約

NorCalは、学習サンプル数によってクラスごとのスコアを再重み付けし、クラス間でスコアを正規化するポスト処理キャリブレーション手法を導入し、再学習なしで長尾分布を持つLVISにおける性能を改善します。

ABSTRACT

Vanilla models for object detection and instance segmentation suffer from the heavy bias toward detecting frequent objects in the long-tailed setting. Existing methods address this issue mostly during training, e.g., by re-sampling or re-weighting. In this paper, we investigate a largely overlooked approach -- post-processing calibration of confidence scores. We propose NorCal, Normalized Calibration for long-tailed object detection and instance segmentation, a simple and straightforward recipe that reweighs the predicted scores of each class by its training sample size. We show that separately handling the background class and normalizing the scores over classes for each proposal are keys to achieving superior performance. On the LVIS dataset, NorCal can effectively improve nearly all the baseline models not only on rare classes but also on common and frequent classes. Finally, we conduct extensive analysis and ablation studies to offer insights into various modeling choices and mechanisms of our approach. Our code is publicly available at https://github.com/tydpan/NorCal/.

研究の動機と目的

• トレーニング時以外の手法を超えて、物体検出とインスタンス分割における長尾バイアスを動機づけ、対処する。
• 事前に訓練された検出器上で動作する、シンプルでモデルに依存しないポスト処理キャリブレーション手法（NorCal）を提案する。
• クラス間のスコア正規化とクラスサイズに基づく再重み付けを組み合わせることで、LVISの希少クラス・一般クラス・頻度クラスの検出と分割を改善することを示す。
• NorCalがAPとAP Fixedの両方の指標を改善できることを示し、頻繁クラスの性能を犠牲にすることなく各クラス内のランキングを改善することを示す。

提案手法

• 事前訓練済み検出器の分類サブネットワークに対してポスト処理キャリブレーションを適用する。
• 各前景クラスのロジットを、クラスの訓練サイズN_cに依存する係数a_cで再スケールする。a_c = N_c^gamma を用い、1つのハイパーパラメータgammaを持つ。
• 分類確率を分解して前景と背景を別々にモデル化し、背景ロジットはそのまま保持する。
• 調整後のクラススコアを、全前景クラス（分母に背景を含む）に対して正規化し、各クラス内で提案を再ランク付けする。
• 任意でNorCalを複数の二項シグモイド分類器に拡張し、ロジットではなく指数関数や確率をキャリブレーションすることもできる。ただし正規化の課題に留意。
• トレーニングデータでgammaを調整し、1つのハイパーパラメータのみを必要とし、保持検証セットは不要。

実験結果

リサーチクエスチョン

• RQ1 トレーニングセットのクラス頻度で調整されたクラス信頼度のポスト処理キャリブレーションは、長尾分布の検出器におけるヘッド寄りの予測を低減できるか。
• RQ2 すべてのクラスにわたるキャリブレーション済みスコアの正規化と背景クラスの適切な取り扱いは、LVISの希少・一般・頻度クラスのランキングと指標を改善するか。
• RQ3 NorCalはモデルに依存しないもので、softmaxを用いる検出器や複数の二値分類器を備える検出器でも効果的か。
• RQ4 LVISベースのさまざまなタスクにおけるロバスト性と性能の観点で、既存のポストキャリブレーション手法と比較してNorCalはどうか。

主な発見

• NorCalはLVIS v1のベースライン検出器を、希少・一般・頻繁クラスの両方で一貫して改善します。
• クラス間のスコア正規化は極めて重要です。正規化なしでは希少クラスの利得が得られず、頻繁クラスの性能が低下する可能性があります。
• 単一のハイパーパラメータgammaがキャリブレーションの強さを制御し、トレーニングデータを用いて頑健に調整できます。
• 他のポストキャリブレーション手法と比較して、NorCalは1つのハイパーパラメータと明示的なスコア正規化で、より大きな利得を達成します。
• NorCalはAPとAP Fixedの両方の指標を改善し、頻繁クラスの性能を犠牲にすることなく各クラス内のランキングを改善します。