[論文レビュー] DR Loss: Improving Object Detection by Distributional Ranking

Qi Qian, Lei Chen+2 more|arXiv (Cornell University)|Jul 23, 2019

Advanced Neural Network Applications参考文献 27被引用数 9

ひとこと要約

本稿では、分類を前景および背景候補の間の順位付け問題に変換することで、1段階型オブジェクト検出を向上させる、画像に依存する新しい損失関数であるDistributional Ranking (DR)損失を提案する。DR損失は、信頼度スコアの分布を意思決定境界に向け、その期待値を順位付けすることで、クラス間およびクラス内でのアンバランスを軽減し、アーキテクチャの変更なしにRetinaNetのmAPをCOCOでResNet-101を用いて39.1%から41.7%に向上させる。

ABSTRACT

Most of object detection algorithms can be categorized into two classes: two-stage detectors and one-stage detectors. Recently, many efforts have been devoted to one-stage detectors for the simple yet effective architecture. Different from two-stage detectors, one-stage detectors aim to identify foreground objects from all candidates in a single stage. This architecture is efficient but can suffer from the imbalance issue with respect to two aspects: the inter-class imbalance between the number of candidates from foreground and background classes and the intra-class imbalance in the hardness of background candidates, where only a few candidates are hard to be identified. In this work, we propose a novel distributional ranking (DR) loss to handle the challenge. For each image, we convert the classification problem to a ranking problem, which considers pairs of candidates within the image, to address the inter-class imbalance problem. Then, we push the distributions of confidence scores for foreground and background towards the decision boundary. After that, we optimize the rank of the expectations of derived distributions in lieu of original pairs. Our method not only mitigates the intra-class imbalance issue in background candidates but also improves the efficiency for the ranking algorithm. By merely replacing the focal loss in RetinaNet with the developed DR loss and applying ResNet-101 as the backbone, mAP of the single-scale test on COCO can be improved from 39.1% to 41.7% without bells and whistles, which demonstrates the effectiveness of the proposed loss function. Code is available at \url{https://github.com/idstcv/DR_loss}.

研究の動機と目的

• 1段階型オブジェクト検出器における前景候補と背景候補の間のクラス間アンバランスを解消すること。
• 背景候補におけるクラス内アンバランス（分類が難しい少数の例）を軽減すること。
• グローバルな画像レベルの情報を活用して、ハード例の順位付けを改善する画像に依存する損失関数を開発すること。
• 個々の例の最適化ではなく分布の期待値を最適化することで、focal損失を超える検出性能の向上を図ること。
• アーキテクチャの変更や追加のデータ増強を一切行わず、RetinaNetの分類損失を置き換えることで最先端の結果を達成すること。

提案手法

• 各画像内でオブジェクト検出の分類タスクをペアワイズの順位付け問題に変換し、正例と負例のペアをバランスさせる。
• 前景および背景の信頼度スコア分布を意思決定境界に向け、例を再重み付けする。
• ハード例に重点を置く制約を用いて、元のスコアから新たな分布を導出する。
• 個々のペアではなく、導出された前景および背景分布の期待値を順位付けすることで、計算複雑度をO(n²)からO(1)に削減する。
• 前景分布の期待信頼度と背景分布の期待信頼度の間の順位マージンを最適化し、一般化性能を向上させる。
• RetinaNetにおけるfocal損失のプラグイン置き換えとしてDR損失を適用し、他のすべてのコンponentsおよびトレーニングプロトコルを維持する。

実験結果

リサーチクエスチョン

• RQ1 画像レベルの分布に基づく順位付け損失関数が、クラスバランスサンプリングやfocal損失を超えてオブジェクト検出性能を向上させられるか？
• RQ2 全信頼度スコア分布を考慮する画像に依存する損失関数は、ハードネガティブ例の処理にどのように影響を与えるか？
• RQ3 DR損失は、mAPを維持または向上させつつ、背景候補におけるクラス内アンバランスをどの程度軽減できるか？
• RQ4 導出された分布の期待値を最適化することで、個々の例の損失を最適化するのと比べて一般化性能が向上するか？
• RQ5 アーキテクチャの変更や追加のデータ増強なしに、DR損失が最先端の性能を達成できるか？

主な発見

• RetinaNetにおけるfocal損失をDR損失に置き換えることで、ResNet-101をバックボーンとして用いた場合、COCOでのmAPが39.1%から41.7%に向上し、特筆すべき追加処理なしに実現された。
• DR損失下での前景信頼度分布の期待値は0.5を超えており、背景の期待値は0.1未満に低下しており、明確なクラス分離が示されている。
• DR損失下での負例アーキテクチャの分布は、交差エントロピーまたはfocal損失よりもよりバランスが取れていることが示され、ハードネガティブ例の処理が改善されている。
• ResNeXt-32x8d-101を用い、1.5倍のトレーニングイテレーションを実行した場合、Dr. Retinaは43.1%のmAPを達成し、スケーラビリティとロバストネスを示した。
• マルチスケールテストを適用することで、ResNeXt-32x8d-101を用いてmAPが44.7%に向上し、標準的なテスト時増強と互換性があることが示された。
• 経験的確率密度プロットから、DR損失が前景分布を著しく改善し、背景分布との重複を低減していることが確認され、クラスおよびハードネガティブのアンバランスのバランス化に有効であることが妥当性を裏付けた。