[論文レビュー] Learning a Unified Sample Weighting Network for Object Detection

Qi Cai, Yingwei Pan+4 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Neural Network Applications参考文献 27被引用数 4

ひとこと要約

本稿では、分類損失と回帰損失、IoU、予測スコアの不確実性をモデル化することで、オブジェクト検出においてタスク固有のサンプル重みを動的に予測する統一的サンプル重みネットワーク（SWN）を提案する。この手法により、推論時間に追加コストをかけずに、複数の1段階および2段階検出器で最大1.8%の検出精度向上が達成される。

ABSTRACT

Region sampling or weighting is significantly important to the success of modern region-based object detectors. Unlike some previous works, which only focus on "hard" samples when optimizing the objective function, we argue that sample weighting should be data-dependent and task-dependent. The importance of a sample for the objective function optimization is determined by its uncertainties to both object classification and bounding box regression tasks. To this end, we devise a general loss function to cover most region-based object detectors with various sampling strategies, and then based on it we propose a unified sample weighting network to predict a sample's task weights. Our framework is simple yet effective. It leverages the samples' uncertainty distributions on classification loss, regression loss, IoU, and probability score, to predict sample weights. Our approach has several advantages: (i). It jointly learns sample weights for both classification and regression tasks, which differentiates it from most previous work. (ii). It is a data-driven process, so it avoids some manual parameter tuning. (iii). It can be effortlessly plugged into most object detectors and achieves noticeable performance improvements without affecting their inference time. Our approach has been thoroughly evaluated with recent object detection frameworks and it can consistently boost the detection accuracy. Code has been made available at \url{https://github.com/caiqi/sample-weighting-network}.

研究の動機と目的

• 静的またはハード例のみに依存するサンプル重み付けの限界を解消し、データおよびタスク依存のサンプル重要性を実現すること。
• 分類と回帰の重みを統一的なフレームワークで同時に最適化し、それぞれのタスクを別々に取り扱う必要をなくすこと。
• エンドツーエンドでデータ駆動的にサンプル重みを学習することで、手動でのハイパーパramータチューニングへの依存を減らすこと。
• 1段階および2段階の検出器を含む多様な検出器で性能を向上させつつ、推論速度を維持すること。

提案手法

• 本手法は、分類損失、回帰損失、IoU、予測スコアを入力として受け取り、分類および回帰タスクの両方のサンプル固有の重みを予測するサンプル重みネットワーク（SWN）を導入する。
• 損失の不確実性を考慮した重みを学習する統一損失関数を定式化し、ガウスノイズモデルを用いて不確実性を推定する。
• サンプル重みが学習された損失の対数分散から導出される微分可能で、重みの崩壊を防ぐための正則化項を含む重み付けメカニズムを採用する。
• バッチ単位でのスムージング戦略を適用し、各バッチ内の正例および負例の重みを平均化することで、訓練を安定化させる。
• Faster R-CNN、SSD、YOLOなどの既存の検出器と互換性があり、最小限のアーキテクチャ変更で統合可能なプラグアンドプレイ型のアプローチである。
• λ₁などのハイパーパramータは、不確実性が重みに与える影響を制御し、手動チューニングなしで安定した最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出におけるサンプル重み付けを、固定値またはハード例のみに依存する戦略から脱却し、データおよびタスク依存のものにすることは可能か？
• RQ2 マルチタスク検出フレームワークにおいて、分類と回帰の両タスクの最適な重みを統一ネットワークで同時に学習できるか？
• RQ3 データ駆動的で不確実性に基づくサンプル重み付け機構は、従来のハード例マイニングやフォーカル損失に比べ、検出精度で優れているか？
• RQ4 提案手法は、異なるバックボーンアーキテクチャおよび検出器フレームワークにどの程度一般化可能か？
• RQ5 異なる初期化や訓練ダイナミクスに対して、サンプル重みネットワークはどの程度頑健か？

主な発見

• 提案されたサンプル重みネットワークは、ResNet-50およびResNeXt-101-32x4dバックボーンを含む複数の検出器で、MS COCOおよびPascal VOCで最大1.8%のmAP向上を一貫して達成する。
• 推論時間に追加コストをかけず、リアルタイム応用に適した性能向上を実現する。
• アブレーションスタディにより、損失の大きさが「簡単」なサンプルでも、不確実性が低いサンプルに高い重みが割り当てられていることが確認される。
• 損失が減少するに従い、重みが上昇する傾向が観察され、ネットワークが不確実性に基づいた設計に従い、容易で不確実性の低いサンプルを優先して処理していることが示される。
• 異なる重み初期化に対しても安定しており、複数回の実行において平均化されたサンプル重みが類似した値に収束するため、最適化が安定していることが示される。
• 回帰損失の分布解析により、本手法は高Iouのサンプルに高い重みを割り当てており、データ依存的に正確な局所化を優先していることが確認される。