[論文レビュー] Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search

Peidong Liu, Gengwei Zhang+5 more|arXiv (Cornell University)|Feb 9, 2021

Advanced Neural Network Applications参考文献 32被引用数 16

ひとこと要約

本論文では、数学的収束性と最適化挙動を模擬することで、オブジェクト検出のための新しい損失関数を自動で発見する進化的探索フレームワーク、CSE-Autolossを提案する。2段階検出器と1段階検出器の両方において、標準的な交差エントロピー損失およびフォーカル損失よりもmAPがそれぞれ1.1%および0.8%向上し、収束シミュレーションモジュールを用いることで探索時間を20倍短縮した。

ABSTRACT

Designing proper loss functions for vision tasks has been a long-standing research direction to advance the capability of existing models. For object detection, the well-established classification and regression loss functions have been carefully designed by considering diverse learning challenges. Inspired by the recent progress in network architecture search, it is interesting to explore the possibility of discovering new loss function formulations via directly searching the primitive operation combinations. So that the learned losses not only fit for diverse object detection challenges to alleviate huge human efforts, but also have better alignment with evaluation metric and good mathematical convergence property. Beyond the previous auto-loss works on face recognition and image classification, our work makes the first attempt to discover new loss functions for the challenging object detection from primitive operation levels. We propose an effective convergence-simulation driven evolutionary search algorithm, called CSE-Autoloss, for speeding up the search progress by regularizing the mathematical rationality of loss candidates via convergence property verification and model optimization simulation. CSE-Autoloss involves the search space that cover a wide range of the possible variants of existing losses and discovers best-searched loss function combination within a short time (around 1.5 wall-clock days). We conduct extensive evaluations of loss function search on popular detectors and validate the good generalization capability of searched losses across diverse architectures and datasets. Our experiments show that the best-discovered loss function combinations outperform default combinations by 1.1% and 0.8% in terms of mAP for two-stage and one-stage detectors on COCO respectively. Our searched losses are available at https://github.com/PerdonLiu/CSE-Autoloss.

研究の動機と目的

• オブジェクト検出のための効果的な損失関数の自動発見を実現し、人的な熟練による設計に依存するのを減らす。
• 数学的性質および最適化特性の検証を組み込むことで、損失関数探索におけるスパarsity（スパarsity）と不安定性を解消する。
• データ駆動による損失関数発見により、学習目的と評価指標（例：mAP）の整合性を高める。
• 多様なアーキテクチャおよびデータセットにわたる効率的かつスケーラブルな探索を可能にし、一般化可能な損失関数形式を実現する。
• 収束特性が強く、高い性能を示す損失関数を発見するフレームワークを開発する。

提案手法

• CSE-Autolossは、21種類の基本的な数学的演算、3つの定数入力、3つの変数入力を用いて、多様な損失関数形式を表現する探索空間を構築する。
• 収束性の検証とモデル最適化のシミュレーションという2段階の収束シミュレーションモジュールを導入し、効果のない候補を早期にフィルタリングする。
• シミュレートされた収束性と最適化挙動に従って、進化的アルゴリズムを用いて損失関数の組み合わせを探索する。
• 既存の代表的な損失関数（例：CE、フォーカル、IoU、GIoU）をカバーしつつ、新たな高性能な組み合わせを可能にする探索空間を設計する。
• COCOおよびVOCにおけるプロキシ学習を通じて候補損失関数を評価し、収束性および最適化安定性に基づいた早期フィルタリングを実施する。
• このパイプラインを通じて発見された最良の損失関数、CSE-Autoloss-Aは、複数の検出器およびデータセットで検証された。

実験結果

リサーチクエスチョン

• RQ1 自動化された探索フレームワークは、手作業で設計されたベースラインを上回る新しい損失関数をオブジェクト検出に対して発見できるか？
• RQ2 収束シミュレーションモジュールは、進化的損失関数探索の効率性と安定性をどのように向上させるか？
• RQ3 発見された損失関数は、異なるオブジェクト検出器およびデータセットにどの程度一般化可能か？
• RQ4 数学的収束性および最適化挙動は、学習された損失関数の性能にどのような影響を及えるか？
• RQ5 発見された損失関数の品質を損なわずに、探索プロセスを著しく高速化できるか？

主な発見

• 最良の発見された損失関数、CSE-Autoloss-Aは、Faster R-CNN R50でCOCOで38.5 mAPを達成し、標準的なCE + L1ベースラインを1.1%上回った。
• FCOS R50では、最良の組み合わせ（CSE-Autoloss-B）が39.6 mAPを達成し、フォーカル損失 + GIoUベースラインを0.8%上回った。
• CSE-Autolossは、バニラな進化的探索と比較して20倍の高速化を達成し、探索時間を約1.5日（ウォールクロック時間）に短縮した。
• 収束シミュレーションモジュールにより、性能が低い損失候補の99%がフィルタリングされ、探索の効率が顕著に向上した。
• 発見された損失関数は、Faster R-CNNやFCOSといった異なるアーキテクチャ、ならびにCOCO、VOC、BDDといった異なるデータセットにおいても良好に一般化された。
• 本手法は、CSE-Autoloss-Aのような構造的特徴を有する損失関数を効果的に発見でき、標準的な損失関数（例：交差エントロピー、フォーカル損失）と同等またはそれを上回る性能を示した。