[論文レビュー] Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation

Hao Li, Chenxin Tao+4 more|arXiv (Cornell University)|Oct 15, 2020

Advanced Neural Network Applications参考文献 31被引用数 8

ひとこと要約

本稿では、セマンティックセグメンテーションにおける特定の評価指標に特化した微分可能代替損失関数を自動で発見する、ニューラルアーキテクチャサーチを模倣した手法であるAuto Seg-Lossを提案する。非微分可能な指標部品を学習可能なパラメータ化関数に置き換え、制約付き探索によりその形状を最適化することで、PASCAL VOCおよびCityscapesにおいて、手作業で設計された損失関数よりも優れた性能を達成し、データセットやネットワークにわたって一般化する。

ABSTRACT

Designing proper loss functions is essential in training deep networks. Especially in the field of semantic segmentation, various evaluation metrics have been proposed for diverse scenarios. Despite the success of the widely adopted cross-entropy loss and its variants, the mis-alignment between the loss functions and evaluation metrics degrades the network performance. Meanwhile, manually designing loss functions for each specific metric requires expertise and significant manpower. In this paper, we propose to automate the design of metric-specific loss functions by searching differentiable surrogate losses for each metric. We substitute the non-differentiable operations in the metrics with parameterized functions, and conduct parameter search to optimize the shape of loss surfaces. Two constraints are introduced to regularize the search space and make the search efficient. Extensive experiments on PASCAL VOC and Cityscapes demonstrate that the searched surrogate losses outperform the manually designed loss functions consistently. The searched losses can generalize well to other datasets and networks. Code shall be released.

研究の動機と目的

• セマンティックセグメンテーションにおける標準的な損失関数（例：交差エントロピー）と評価指標の間の不一致を是正すること。
• 指標固有の代替損失関数の探索を自動化することで、熟練した設計に依存する必要を減らすこと。
• 訓練目的を下流の評価指標にさらに近づけることで、セグメンテーションモデルの性能を向上させること。
• 堅牢で微分可能な代替損失関数を生成できる、効率的かつ一般化可能な探索フレームワークを開発すること。
• 探索された損失関数を異なるデータセットやネットワークアーキテクチャにわたって転送可能にすること。

提案手法

• 評価指標（例：IoU、Dice）内の非微分可能な部品を、微分可能でパラメータ化された代替関数に置き換える。
• 最適な代替損失形状の探索を、学習可能なパラメータ上で微分可能なアーキテクチャサーチ問題として定式化する。
• 探索空間を縮小し、最適化の効率を向上させるために2つの正則化制約を導入する。
• 勾配ベースの探索を用いて代替損失のパラメータを最適化し、損失関数の形状を目的の指標と一致させる。
• 探索された代替損失関数を用いてセグメンテーションネットワークを訓練し、標準ベンチマークでの性能を評価する。
• 探索された損失関数が未学習のデータセットやネットワークアーキテクチャに対しても一般化できることを保証する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションにおいて、訓練と評価指標の整合性を高めるために、微分可能な代替損失関数を自動で探索できるか？
• RQ2 多様な指標とデータセットにおいて、自動で探索された損失関数の性能は、手作業で設計された損失関数と比べてどの程度優れているか？
• RQ3 探索された損失関数は、異なるセグメンテーションネットワークやデータセットに対してどの程度一般化できるか？
• RQ4 代替損失の探索を効率的かつ安定にするために、どのような制約が有効か？
• RQ5 提案手法は、PASCAL VOC や Cityscapes といった複数のベンチマークデータセットで一貫してセグメンテーション性能を向上させられるか？

主な発見

• PASCAL VOCおよびCityscapesの全評価指標において、探索された代替損失関数は、標準的な交差エントロピーおよびその変種を上回る性能を発揮する。
• Auto Seg-Lossによる性能向上は、IoU や Dice といった異なる評価指標においても一貫して観察される。
• 探索された損失関数は、学習分布外の他のデータセットやネットワークアーキテクチャに対しても、良好に一般化する。
• 正則化制約の導入により、探索の効率と収束の安定性が顕著に向上する。
• 手作業による損失設計を一切必要とせず、標準ベンチマークで最先端の性能を達成する。
• Auto Seg-Lossのコードは、再現性とさらなる研究を支援するため、公開される予定である。