[論文レビュー] Exploring Classification Equilibrium in Long-Tailed Object Detection

Chengjian Feng, Yujie Zhong+1 more|arXiv (Cornell University)|Aug 17, 2021

Advanced Neural Network Applications参考文献 1被引用数 6

ひとこと要約

本稿では、分類スコアの平均値を用いて損失調整と特徴抽出を誘導することで分類の均衡を達成する、長尾物体検出のための新規手法LOCEを提案する。Equilibrium Loss (EBL) を導入し、性能が低いクラスに対して意思決定境界の調整強度を動的に増加させる。また、メモリ拡張型特徴抽出 (MFS) を導入し、尾尾クラスの特徴再利用と訓練頻度を向上させる。LVISで尾尾クラスで15.6 APの向上を達成し、最先端の性能を発揮した。

ABSTRACT

The conventional detectors tend to make imbalanced classification and suffer performance drop, when the distribution of the training data is severely skewed. In this paper, we propose to use the mean classification score to indicate the classification accuracy for each category during training. Based on this indicator, we balance the classification via an Equilibrium Loss (EBL) and a Memory-augmented Feature Sampling (MFS) method. Specifically, EBL increases the intensity of the adjustment of the decision boundary for the weak classes by a designed score-guided loss margin between any two classes. On the other hand, MFS improves the frequency and accuracy of the adjustment of the decision boundary for the weak classes through over-sampling the instance features of those classes. Therefore, EBL and MFS work collaboratively for finding the classification equilibrium in long-tailed detection, and dramatically improve the performance of tail classes while maintaining or even improving the performance of head classes. We conduct experiments on LVIS using Mask R-CNN with various backbones including ResNet-50-FPN and ResNet-101-FPN to show the superiority of the proposed method. It improves the detection performance of tail classes by 15.6 AP, and outperforms the most recent long-tailed object detectors by more than 1 AP. Code is available at https://github.com/fcjian/LOCE.

研究の動機と目的

• ヘッドクラスが優位を占め、テイルクラスが過小表現される長尾物体検出における性能低下を是正すること。
• モデルに依存しない再サンプリングおよび再重み付け手法の限界を克服し、ハイパーパrameterに敏感でない手法を提供すること。
• リアルタイムのモデルフィードバックを用いて学習進行のバランスを動的に調整することで、ヘッドクラスおよびテイルクラスの分類精度を向上させること。
• データセット統計や固定サンプリングレートに依存せず、クラス固有の学習状態に適応する手法を開発すること。

提案手法

• 訓練中に各カテゴリの分類スコアの平均値を、分類精度および学習状態のリアルタイム指標として用いる。
• スコア誘導型損失マージンを有するEquilibrium Loss (EBL) を設計し、スコアが低い（弱い）クラスに対して意思決定境界の調整強度を増加させる。
• モデルに依存しないボックスジェネレータから得られる密なインスタンス特徴を保存・再利用するメモリ拡張型特徴抽出 (MFS) を実装する。
• 確率的サンプラーを用いて、低スコア（テイル）カテゴリからの特徴を過剰にサンプリングし、未表現クラスの訓練頻度と精度を向上させる。
• EBLとMFSを統合し、意思決定境界の調整強度と頻度の両方をバランスさせることで、分類の均衡を共同で達成する。
• LVISベンチマークでの評価を目的とし、標準的なMask R-CNNフレームワーク（ResNet-50-FPNおよびResNet-101-FPN）に本手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 訓練中における平均分類スコアは、長尾検出において分類精度の効果的で動的な指標として機能するか？
• RQ2 データセットベースまたは固定マージンアプローチと比較して、スコア誘導型損失マージンは性能が低い（テイル）クラスにおける意思決定境界の調整を改善するか？
• RQ3 メモリ拡張型特徴抽出は、過学習を引き起こさずにテイルクラスの訓練更新頻度と品質を向上させられるか？
• RQ4 EBLとMFSの併用は、特にテイルクラスにおいて、すべてのクラスグループ全体の性能をどの程度向上させられるか？同時にヘッドクラスの性能を維持できるか？
• RQ5 AP向上およびクラス不均衡に対するロバストネスの観点から、本手法は最先端の長尾検出手法と比較してどの程度優れているか？

主な発見

• LOCEはLVIS v1.0でベースラインのMask R-CNNと比較して、テイルクラスで15.6 APの向上を達成し、先行手法を著しく上回った。
• ResNet-101-FPNを用いたLVIS v1.0では、LOCEが29.0 APを達成し、Seesaw Loss や EQL v2 といった先行最先端手法を1 AP以上上回った。
• スコア誘導型アプローチは、データセット誘導型ベースラインを上回り、稀少クラスのAP向上にもかかわらず、ヘッドクラスの性能が低下する傾向を示した。
• LOCEはヘッドクラスの性能を維持または向上させながら、テイルクラスの検出性能を著しく向上させ、効果的な分類の均衡を実現した。
• ハイパーパramータの選択に対してロバストであり、スコア平滑化の最適値はα=0.9、マージン初期化値はĥsC+1=0.01であった。
• アブレーションスタディの結果、EBLおよびMFSの両方が性能向上に顕著な貢献を示し、MFSは特徴抽出頻度を向上させ、EBLは弱いクラスに対する意思決定境界の調整強度を増加させた。