[論文レビュー] Loss Rank Mining: A General Hard Example Mining Method for Real-time Detectors

Hao Yu, Zhaoning Zhang+5 more|arXiv (Cornell University)|Apr 10, 2018

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、領域提案や損失関数の変更なしに、最終特徴マップからの損失順位に基づいてハード例を選択する一般化されたハード例マイニング手法であるLoss Rank Mining (LRM) を提案する。LRM は、背景に圧倒される前景オブジェクトに注目することで、KITTI で mAP を 5% 以上、PASCAL VOC で 2% 以上向上させる。

ABSTRACT

Modern object detectors usually suffer from low accuracy issues, as foregrounds always drown in tons of backgrounds and become hard examples during training. Compared with those proposal-based ones, real-time detectors are in far more serious trouble since they renounce the use of region-proposing stage which is used to filter a majority of backgrounds for achieving real-time rates. Though foregrounds as hard examples are in urgent need of being mined from tons of backgrounds, a considerable number of state-of-the-art real-time detectors, like YOLO series, have yet to profit from existing hard example mining methods, as using these methods need detectors fit series of prerequisites. In this paper, we propose a general hard example mining method named Loss Rank Mining (LRM) to fill the gap. LRM is a general method for real-time detectors, as it utilizes the final feature map which exists in all real-time detectors to mine hard examples. By using LRM, some elements representing easy examples in final feature map are filtered and detectors are forced to concentrate on hard examples during training. Extensive experiments validate the effectiveness of our method. With our method, the improvements of YOLOv2 detector on auto-driving related dataset KITTI and more general dataset PASCAL VOC are over 5% and 2% mAP, respectively. In addition, LRM is the first hard example mining strategy which could fit YOLOv2 perfectly and make it better applied in series of real scenarios where both real-time rates and accurate detection are strongly demanded.

研究の動機と目的

• 領域提案や特定の損失関数に依存しない、リアルタイムオブジェクト検出器向けの一般化されたハード例マイニング手法の欠如を解決すること。
• 実世界の応用で広く使われているが、前景・背景クラスの不均衡により検出精度が低下するリアルタイム検出器（例：YOLOv2）の精度を向上させること。
• アーキテクチャや損失関数の変更なしに、既存のリアルタイム検出器に直接適用可能な手法を開発すること。
• 最終特徴マップからの損失順位が、特に前景オブジェクトを効果的に特定・優先できるかどうかを実証すること。

提案手法

• LRM は、最終特徴マップ内のすべての予測を損失値の降順に順位付けすることでハード例を選択する。
• 損失値が最も高い上位 N 個の予測のみを逆伝播に保持し、容易な例（主に背景）を効果的にフィルタリングする。
• この手法は最終検出ヘッドの出力に直接作用するため、最終特徴マップを出力するすべてのリアルタイム検出器に適用可能である。
• 領域提案や損失関数の変更を必要としないため、YOLOv2 などの既存モデルへの直接統合が可能である。
• 選択するハード例の数（N）は、異なるデータセットや NMS 設定で最適化するためのハイパーパrameterである。
• 予測の損失値が高いために、通常は誤分類または局所化が不十分な前景オブジェクトが、暗黙的に強調される。

実験結果

リサーチクエスチョン

• RQ1 領域提案や特定の損失関数に依存しない、リアルタイム検出器向けの一般化されたハード例マイニング手法を開発できるか？
• RQ2 最終特徴マップからの損失順位は、YOLOv2 などのリアルタイム検出器の検出精度向上にどの程度有効か？
• RQ3 元の損失関数を変更せずに、LRM が Focal Loss よりも優れた性能を示せるか？
• RQ4 異なるデータセットや NMS 閾値において、逆伝播に使用するハード例の最適数（N）は何か？
• RQ5 LRM による容易な例のフィルタリングは、一般化性能の向上や情報損失を引き起こすか？

主な発見

• KITTI データセットでは、LRM が YOLOv2 の mAP を 5.05% 向上させ、リアルタイム自動運転応用において顕著な向上を示した。
• より一般的な PASCAL VOC データセットでは、LRM が YOLOv2 の mAP を元のモデルと比較して 2.27% 向上させ、77.40% の mAP を達成した。
• Focal Loss と比較しても、LRM は YOLOv2 の元の損失関数を変更せずに優れた性能を発揮した。これは、モデルの互換性において大きな利点である。
• 最適なハード例の数（N）は NMS 閾値に依存する：0.5 および 1.0 の場合、N=128 が最適だが、0.7 の場合は N=256 が最適であり、冗長な情報が保持されるためである。
• クラス別性能では、LRM により 'cat' では mAP が約 3% 減少したが、'dog' では顕著な低下が見られた。これは、ハード例選択にクラス固有の感受性がある可能性を示唆している。
• 実験により、LRM は YOLOv2 に直接適用可能な最初の一般化されたハード例マイニング手法であり、従来の手法が失敗した分野で、著しく精度を向上させたことが実証された。