[論文レビュー] Large-Scale Object Detection in the Wild from Imbalanced Multi-Labels

Junran Peng, Xingyuan Bu+4 more|arXiv (Cornell University)|May 18, 2020

Advanced Neural Network Applications参考文献 24被引用数 4

ひとこと要約

本論文は、Open Imagesデータセットを用いた大規模オブジェクト検出における多ラベル曖昧性と極端なラベル不均衡を解決するために、同時に学習するソフトマックス損失とソフトバランス戦略を組み合わせたハイブリッドトレーニングスケジューラを提案する。単一モデルでは60.90 mAPを達成し、アンサンブルでは67.17 mAPを記録し、Open Imagesのパブリックテストチャレンジセットで新たなSOTAを樹立した。前回の手法より4.29ポイント優れている。

ABSTRACT

Training with more data has always been the most stable and effective way of improving performance in deep learning era. As the largest object detection dataset so far, Open Images brings great opportunities and challenges for object detection in general and sophisticated scenarios. However, owing to its semi-automatic collecting and labeling pipeline to deal with the huge data scale, Open Images dataset suffers from label-related problems that objects may explicitly or implicitly have multiple labels and the label distribution is extremely imbalanced. In this work, we quantitatively analyze these label problems and provide a simple but effective solution. We design a concurrent softmax to handle the multi-label problems in object detection and propose a soft-sampling methods with hybrid training scheduler to deal with the label imbalance. Overall, our method yields a dramatic improvement of 3.34 points, leading to the best single model with 60.90 mAP on the public object detection test set of Open Images. And our ensembling result achieves 67.17 mAP, which is 4.29 points higher than the best result of Open Images public test 2018.

研究の動機と目的

• Open Imagesデータセットにおける多ラベルアノテーションと極端なラベル不均衡の課題に対処し、モデルの汎化性能を向上させること。
• 複雑で階層的かつ重複するラベルを有する大規模で現実世界のデータセットにおけるオブジェクト検出性能を向上させること。
• 支配的クラスに過剰適合しないように、頻度の高いクラスとレアクラスの両方を効果的に処理するトレーニング戦略を開発すること。
• 単一モデルおよびアンサンブルアプローチを用いて、Open Imagesのテストチャレンジベンチマークで最先端の性能を達成すること。

提案手法

• トレーニング時および推論時において複数のラベルを同時に予測できる「同時に学習するソフトマックス損失」を導入し、明示的・暗黙的な多ラベルケースの両方を処理する。
• カテゴリ頻度に基づいて損失重みを動的に調整する「ソフトバランス戦略」を提案し、稀少クラスにおける過剰適合を低減する。
• クラスに特化したサンプリングと非バランス微調整を組み合わせたハイブリッドトレーニングスケジューラを採用し、データ効率とモデル収束性を向上させる。
• マルチステージトレーニングパイプラインを採用：ImageNetでの事前学習、その後にクラスに特化したサンプリング、最後に同時に学習するソフトマックスを用いたソフトバランス微調整。
• 追加のベル＆ホイッスルとして、データオーグメンテーションと損失関数探索を適用し、さらに性能を向上させる。
• 最終推論のために、ResNeXt-101、ResNeXt-152、EfficientNet-B7を用いたモデルアンサンブルを実施。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットに暗黙的および明示的な多ラベルアノテーションが存在する場合、ディープオブジェクト検出器をどのように効果的に学習できるか？
• RQ2 ラベル不均衡なデータセットにおいて、頻度の高いクラスのデータを十分に活用しながら、レアクラスにおける過剰適合をどのように軽減できるか？
• RQ3 オブジェクトが複数の階層的または重複するクラスに属する場合、同時に学習するソフトマックス損失は検出性能を向上させられるか？
• RQ4 クラスに特化したサンプリングと非バランス微調整を組み合わせたハイブリッドトレーニングスケジューラは、不均衡データにおけるモデルの汎化性能にどのように影響するか？
• RQ5 ソフトバランス損失と同時に学習するソフトマックスは、前回の手法と比較してOpen ImagesテストチャレンジセットにおけるmAPをどの程度向上させられるか？

主な発見

• 提案手法は、Open Imagesのパブリックテストチャレンジセットで単一モデルで60.90 mAPを達成し、前回の最良単一モデルより3.34ポイント向上した。
• アンサンブル結果では67.17 mAPに達し、2018年Open Imagesチャレンジの最良アンサンブル結果より4.29ポイント高い。
• λ=0.7のソフトバランス戦略は、稀少クラスにおける過剰適合を低減し、全カテゴリグループで性能向上を実現した。λ=1.0と比較して顕著な改善が得られた。
• ハイブリッドトレーニングスケジューラは、標準的な事前学習とサンプリング戦略を上回り、特にスクラッチから微調整する場合に顕著な性能向上を示した。ソフトバランスを組み合わせた場合、67.09 mAPを達成した。
• 同時に学習するソフトマックス、ソフトバランス、ハイブリッドスケジューラを順次追加することで、mAPはそれぞれ1.26、1.04、1.24ポイント向上した。これは段階的で累積的な改善を示している。
• 複数のアーキテクチャと追加のデータオーグメンテーションを用いた最終アンサンブルにより、67.17 mAPを達成し、Open Imagesベンチマークで新たなSOTAを樹立した。