[論文レビュー] Rank & Sort Loss for Object Detection and Instance Segmentation

Kemal Öksüz, Barış Can Çam+2 more|arXiv (Cornell University)|Jul 24, 2021

Advanced Neural Network Applications参考文献 43被引用数 6

ひとこと要約

本論文は、オブジェクト検出およびインスタンスセグメンテーションのための新しい微分可能損失関数であるRank & Sort（RS）損失を提案する。RS損失は、正例を負例よりも上位にランク付けし、IoU品質に基づいてそれらをソートする。非微分可能なランク付けとソート処理を扱うために、アイデンティティ更新（Identity Update）を導入することで、補助ヘッドやサンプリングヒューリスティクスを必要とせず、エンド・ツー・エンドの学習が可能となり、COCOおよびLVISで多様なモデルにおいて最先端の性能を達成する。学習率のチューニングのみで実現可能である。

ABSTRACT

We propose Rank & Sort (RS) Loss, a ranking-based loss function to train deep object detection and instance segmentation methods (i.e. visual detectors). RS Loss supervises the classifier, a sub-network of these methods, to rank each positive above all negatives as well as to sort positives among themselves with respect to (wrt.) their localisation qualities (e.g. Intersection-over-Union - IoU). To tackle the non-differentiable nature of ranking and sorting, we reformulate the incorporation of error-driven update with backpropagation as Identity Update, which enables us to model our novel sorting error among positives. With RS Loss, we significantly simplify training: (i) Thanks to our sorting objective, the positives are prioritized by the classifier without an additional auxiliary head (e.g. for centerness, IoU, mask-IoU), (ii) due to its ranking-based nature, RS Loss is robust to class imbalance, and thus, no sampling heuristic is required, and (iii) we address the multi-task nature of visual detectors using tuning-free task-balancing coefficients. Using RS Loss, we train seven diverse visual detectors only by tuning the learning rate, and show that it consistently outperforms baselines: e.g. our RS Loss improves (i) Faster R-CNN by similar to 3 box AP and aLRP Loss (ranking-based baseline) by similar to 2 box AP on COCO dataset, (ii) Mask R-CNN with repeat factor sampling (RFS) by 3.5 mask AP (similar to 7 AP for rare classes) on LVIS dataset; and also outperforms all counterparts.

研究の動機と目的

• オブジェクト検出およびインスタンスセグメンテーションにおける極端なクラス不均衡とマルチタスク最適化の課題を解決すること。
• 局所化品質を分類損失に直接組み込むことで、補助ヘッド（例：センターネスやIoU予測用）の必要性を排除すること。
• タスクバランスのためのハイパーパrameterチューニングやサンプリングヒューリスティクスを排除することで、学習を簡素化すること。
• ディープラーニングにおいて本質的に非微分可能なランク付けおよびソート処理を、微分可能な定式化で効果的に最適化すること。

提案手法

• すべての正例を負例よりも上位にランク付けし、連続的なIoU値に基づいて正例をソートする、マルチ目的損失であるRank & Sort（RS）損失を提案する。
• 誤差駆動型バックプロパゲーションの再定式化であるアイデンティティ更新（Identity Update）を導入し、ランク付けおよびソート処理の微分可能最適化を可能にする。
• 正例に対して連続的なIoUベースのラベルを用いて、より良い局所化精度を持つ予測を優先するソート目的を定義する。
• ハイパーパラメータチューニングなしで損失重みを自動調整する、チューニングフリーのタスクバランス機構を採用する。
• 学習率の調整のみで、Faster R-CNN、Mask R-CNN、YOLACT、SOLOv2など多様なアーキテクチャにRS損失を適用する。
• 局所化品質を分類目的に直接埋め込むことで、補助ヘッドやサンプリングヒューリスティクスを排除し、エンド・ツー・エンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出およびインスタンスセグメンテーションにおいて、1つの統合損失関数が、正例を負例よりも上位にランク付けし、局所化品質（IoU）に基づいてそれらをソートできるか？
• RQ2 ディープラーニングにおいて、非微分可能なランク付けおよびソート処理を、バックプロパゲーションによって効果的に最適化できるか？
• RQ3 RS損失は、補助ヘッド（例：センターネスやマスク-IoU用）の必要性を排除しつつ、性能を維持または向上できるか？
• RQ4 RS損失は、長尾分布や不均衡データセットにおいて、ハイパーパラメータチューニングをどれほど削減できるか？
• RQ5 RS損失は、推論時のスコアしきい値に頑健で、一般化性能を向上させることができるか？特にレアカテゴリにおいて顕著か？

主な発見

• COCOでFaster R-CNNは3.0ボックスAP、aLRP損失は2.0ボックスAP向上を達成し、サンプリングや補助ヘッドなしで39.6ボックスAPを達成。
• 長尾分布のLVISデータセットでは、リピートファクタサンプリングを用いたMask R-CNNが3.5マスクAP向上（レアクラスでは7.0）を達成し、11.7 fpsで25.2マスクAPを達成。
• Faster R-CNN、Mask R-CNN、YOLACT、SOLOv2など7種類の多様な検出器で、学習率チューニングのみで最先端の性能を達成。
• 極端なクラス不均衡にも強く、COCOおよびLVISで正例対負例のインスタンス比が最大1:10,470であっても、サンプリングなしで正常に学習可能。
• RS損失で学習されたモデルは、より高い信頼度スコアを出力するが、効率性のためしきい値の調整が必要。しかし、すべてのスコアしきい値で良好な性能を維持し、特にレアカテゴリで顕著。
• 2次関数的複雑度のため、1イテレーションあたり1.5倍の時間がかかるが、性能向上の恩恵が大きく、特にレアカテゴリにおいてコストを上回る。