[論文レビュー] Equalized Focal Loss for Dense Long-Tailed Object Detection

Bo Li, Yongqiang Yao+5 more|arXiv (Cornell University)|Jan 7, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、一発検出器における前景・背景のアンバランスと長尾カテゴリのアンバランスの両方を同時に解消するために、カテゴリごとのアンバランス度に応じてフォーカル損失の調整因子を動的に調整する新しい損失関数、Equalized Focal Loss (EFL) を提案する。EFL は LVIS v1 で 29.2% AP を達成し、一発検出器における長尾検出の新たな最先端性能を樹立するとともに、OpenImages においても優れた一般化性能を示した。

ABSTRACT

Despite the recent success of long-tailed object detection, almost all long-tailed object detectors are developed based on the two-stage paradigm. In practice, one-stage detectors are more prevalent in the industry because they have a simple and fast pipeline that is easy to deploy. However, in the long-tailed scenario, this line of work has not been explored so far. In this paper, we investigate whether one-stage detectors can perform well in this case. We discover the primary obstacle that prevents one-stage detectors from achieving excellent performance is: categories suffer from different degrees of positive-negative imbalance problems under the long-tailed data distribution. The conventional focal loss balances the training process with the same modulating factor for all categories, thus failing to handle the long-tailed problem. To address this issue, we propose the Equalized Focal Loss (EFL) that rebalances the loss contribution of positive and negative samples of different categories independently according to their imbalance degrees. Specifically, EFL adopts a category-relevant modulating factor which can be adjusted dynamically by the training status of different categories. Extensive experiments conducted on the challenging LVIS v1 benchmark demonstrate the effectiveness of our proposed method. With an end-to-end training pipeline, EFL achieves 29.2% in terms of overall AP and obtains significant performance improvements on rare categories, surpassing all existing state-of-the-art methods. The code is available at https://github.com/ModelTC/EOD.

研究の動機と目的

• 一発検出器が長尾状況で効率性の観点から産業的優位性を有するものの、その性能と実現可能性を検証すること。
• 長尾データ分布下で一発検出器の性能が著しく低下する根本的原因を特定すること：データ分布の歪みに起因する、カテゴリ間での正例・負例の不均衡の不一致。
• 一発検出器において、前景・背景のアンバランスとカテゴリ間アンバランスの両方を同時に緩和する統一された損失関数を提案すること。
• EFL がデータ分布の事前知識を必要とせず、異なるバックボーンやデータセット（LVIS v1 や OpenImages）にわたって優れた一般化性能を示すことを実証すること。

提案手法

• EFL は、カテゴリ固有のトレーニング状態とアンバランス度に基づき、動的に調整される二つの分離されたダイナミック要因（集中要因と重み要因）からなるカテゴリ関連の調整因子を導入する。
• 集中要因は、レアカテゴリのハード正例に注目を向けるように、カテゴリ固有のアンバランス度に応じてフォーカル損失の指数項をスケーリングすることで、学習の重点をレアカテゴリにシフトさせる。
• 重み要因は、頻度の高いカテゴリによる勾配の圧倒的優位性を防ぐために、稀なカテゴリの損失寄与度を強化する。
• 調整因子はトレーニング中に動的に計算されるため、事前計算されたクラス頻度やデータ統計を必要とせず、適応的な損失再重み付けが可能である。
• EFL は、標準フォーカル損失の即時置換可能なプラグインとして設計されており、任意の1発検出器アーキテクチャと互換性を持つ。
• 本手法は、COCO および LVIS v1 で ResNet-50 を用いた改善されたベースラインを用いて評価され、分布に依存しない性能を検証するため、標準的なトレーニングスケジュールとサンプラーが使用された。

実験結果

リサーチクエスチョン

• RQ1 一発検出器は、二段階検出器と比較して未だ十分に検討が進んでいないものの、長尾物体検出で最先端性能を達成できるか？
• RQ2 標準フォーカル損失および既存の再重み付け手法が、長尾データ分布下で一発検出器にうまく一般化できない根本的要因は何か？
• RQ3 1つの損失関数が、一発検出器において、前景・背景のアンバランスとカテゴリ間アンバランスの両方を同時に解消できるか？
• RQ4 提案された EFL は、頻度の高いカテゴリの性能を劣化させることなく、レアカテゴリの性能をどの程度向上できるか？
• RQ5 EFL は、バランス型と長尾型の両方のデータ分布およびトレーニングプロトコルにおいて、強力な性能を維持できるか？

主な発見

• EFL は LVIS v1 ベンチマークで 29.2% AP を達成し、長尾物体検出分野におけるすべての既存最先端手法を上回った。
• EFL は、特に小形物体（AP_s）および大形物体（AP_l）の性能を顕著に向上させ、スケールにわたる頑健性を示した。
• COCO データセット（クラス分布がバランスされている）でも、EFL は標準フォーカル損失（42.3% AP）と同等の性能を達成した。
• 微分解析の結果、EFL はアンバランス度が高くなるほど、稀なカテゴリのハードサンプルにおける勾配寄与度を増加させ、勾配の勾配が急になることが示された。
• EFL は OpenImages に対しても優れた一般化性能を示し、異なるデータセットおよびデータ分布にわたる高い転送性と頑健性を確認した。
• アブレーションスタディの結果、動的でカテゴリ固有の調整因子が不可欠であることが確認された。静的または共有の要因では、同等の向上を達成できなかった。