[論文レビュー] Optimizing the F-measure for Threshold-free Salient Object Detection

Kai Zhao, Shanghua Gao+2 more|arXiv (Cornell University)|May 19, 2018

Visual Attention and Saliency Detection参考文献 40被引用数 11

ひとこと要約

本稿では、顕著オブジェクト検出における学習中におけるF-measureの直接最適化を可能にする微分可能F-measure損失関数であるFLossを提案する。これにより、しきい値に依存しない高精度なセマンティックマップの生成が可能となる。標準F-measureを緩和され、微分可能に再定式化することで、FLossは飽和した活性化領域でも強い勾配を維持し、しきい値のチューニングを必要とせずに、複数のベンチマークで高速な収束と優れた性能を達成する。

ABSTRACT

Current CNN-based solutions to salient object detection (SOD) mainly rely on the optimization of cross-entropy loss (CELoss). Then the quality of detected saliency maps is often evaluated in terms of F-measure. In this paper, we investigate an interesting issue: can we consistently use the F-measure formulation in both training and evaluation for SOD? By reformulating the standard F-measure we propose the relaxed F-measure which is differentiable w.r.t the posterior and can be easily appended to the back of CNNs as the loss function. Compared to the conventional cross-entropy loss of which the gradients decrease dramatically in the saturated area, our loss function, named FLoss, holds considerable gradients even when the activation approaches the target. Consequently, the FLoss can continuously force the network to produce polarized activations. Comprehensive benchmarks on several popular datasets show that FLoss outperforms the state-of-the-art with a considerable margin. More specifically, due to the polarized predictions, our method is able to obtain high-quality saliency maps without carefully tuning the optimal threshold, showing significant advantages in real-world applications.

研究の動機と目的

• 顕著オブジェクト検出における学習（交差エントロピー損失）と評価（F-measure）の間の不一致を解消すること。
• F-measureを学習の目的関数として直接最適化できるエンドツーエンドの最適化を可能にし、モデルの汎化性能とロバスト性を向上させること。
• 推論段階でのしきい値チューニングの必要性を排除し、本質的に極性を持つセマンティックマップを生成すること。
• F-measureの調和平均の定式化により、不均衡なデータ分布における精度と再現率のバランスを効果的にとること。
• 従来の交差エントロピー損失およびバランス型交差エントロピー損失と比較して、収束速度の向上と性能の向上を達成すること。

提案手法

• 標準F-measureの非微分性を克服するため、予測後確率に関して微分可能であるように緩和されたF-measureの定式化を提案する。
• 緩和されたF-measureから導出された微分可能損失関数であるFLossを導入し、任意のCNNベースのセマンティック検出モデルの末尾に追加可能である。
• 精度と再現率のトレードオフを制御するパラメータ化された$eta^2$要因を採用し、アプリケーションに応じた最適化を可能にする。
• 精度と再現率の調和平均をコア指標として用いることで、セマンティック検出におけるクラス不均衡を本質的に補正する。
• 訓練中に完全にエンドツーエンドの形で損失を適用し、ネットワークが直接極性を持つ予測を学習できるようにする。
• FLossが予測が飽和しても顕著な勾配を維持することを活用し、明確な前景・背景分離を促進する。

実験結果

リサーチクエスチョン

• RQ1 顕著オブジェクト検出において、F-measureを学習中に微分可能に直接最適化することは可能か？
• RQ2 F-measureを学習目的関数として用いることで、交差エントロピー損失と比較してより優れた汎化性能と性能が得られるか？
• RQ3 FLossは推論段階でのしきい値チューニングなしに高品質なセマンティックマップを生成できるか？
• RQ4 標準的およびバランス型交差エントロピー損失と比較して、FLossはクラス不均衡データに対してどのように性能を発揮するか？
• RQ5 FLossは複数の最先端アーキテクチャにおいて、収束速度および最終的な性能をどの程度向上させるか？

主な発見

• FLossは複数のベンチマークデータセットで最先端の性能を達成し、標準的およびバランス型交差エントロピー損失を上回る。
• ECSSDデータセットでは、DSS+FLossモデルがF-measure 0.843を達成し、DSS+Balance（0.837）およびDSS+CE（0.835）を上回った。
• PASCAL-Sデータセットでは、Amulet+FLossモデルがF-measure 0.889を達成し、Amulet+CE（0.889）およびAmulet+Balance（0.889）を上回り、再現率と精度の両方が向上した。
• 交差エントロピーベースラインと比較して収束が速く、数100イタレーション程度で高いF-measureスコアを達成した。
• FLossに基づくモデルは極めて極性を持つ予測を生成し、広範なしきい値範囲で高い性能を維持した。これは、しきい値に依存しないロバスト性を示している。
• $eta^2$の調整により、精度と再現率のトレードオフを効果的に制御でき、より高い$eta^2$は再現率を優先し、より低い$eta^2$は精度を優先する。