[論文レビュー] The Lovász-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks

Maxim Berman, Amal Rannen Triki+1 more|arXiv (Cornell University)|May 24, 2017

Advanced Neural Network Applications参考文献 27被引用数 39

ひとこと要約

本稿では、Lovász-Softmax損失を提案する。これは、交差率（IoU）指標のための微分可能で凸な代替損失関数であり、畳み込みニューラルネットワークにおけるセマンティック画像セグメンテーションの文脈で、ジャッカード係数の直接最適化を可能にする。サブモジュラー損失のLovász拡張を活用することで、アーキテクチャの変更なしにPascal VOCおよびCityscapesでSOTAのmIoU向上を達成し、標準的な交差エントロピー学習を上回る性能を発揮する。

ABSTRACT

The Jaccard index, also referred to as the intersection-over-union score, is commonly employed in the evaluation of image segmentation results given its perceptual qualities, scale invariance - which lends appropriate relevance to small objects, and appropriate counting of false negatives, in comparison to per-pixel losses. We present a method for direct optimization of the mean intersection-over-union loss in neural networks, in the context of semantic image segmentation, based on the convex Lovász extension of submodular losses. The loss is shown to perform better with respect to the Jaccard index measure than the traditionally used cross-entropy loss. We show quantitative and qualitative differences between optimizing the Jaccard index per image versus optimizing the Jaccard index taken over an entire dataset. We evaluate the impact of our method in a semantic segmentation pipeline and show substantially improved intersection-over-union segmentation scores on the Pascal VOC and Cityscapes datasets using state-of-the-art deep learning segmentation architectures.

研究の動機と目的

• セマンティックセグメンテーションにおける学習損失（交差エントロピー）と評価指標（IoU）の不一致を是正すること。
• 深層ニューラルネットワークにおけるジャッカード係数（IoU）のエンドツーエンドで即座に利用可能な、プラグアンドプレイな最適化を可能にすること。
• IoUのサンプリングや近似、間接的最適化に依存する従来手法の限界を克服すること。
• 凸な代替損失関数によるIoUの直接最適化が、標準ベンチマークで一貫した性能向上をもたらすことを示すこと。

提案手法

• サブモジュラーなジャッカード損失のための区分的線形で凸な代替損失関数を構築するために、Lovász拡張を用いる。これにより微分可能な最適化が可能になる。
• 各クラスをバイナリセグメンテーション問題として扱うことで、多クラスセグメンテーションにLovász-Softmax拡張を適用する。
• Lovászヘッジ式を用いて、ソートに基づくアルゴリズムにより、効率的に部分勾配を計算する。
• 画像単位およびグローバルなIoU最適化をサポートし、等バッチサンプリングによりクラスの重み付けが可能である。
• 標準的なセグメンテーションアーキテクチャにプラグインレイヤーとして統合され、アーキテクチャの変更なしに交差エントロピー損失に置き換えられる。
• PyTorchを用いて実装され、再現性を確保するためGitHubに公開されている。

実験結果

リサーチクエスチョン

• RQ1 微分可能で凸な代替損失関数を用いることで、ディープラーニングフレームワーク内でジャッカード係数を直接最適化できるか？
• RQ2 学習時にIoUを最適化することで、交差エントロピーを最適化する場合と比較して、より優れたセグメンテーション性能が得られるか？
• RQ3 画像単位のIoU最適化とグローバルIoU最適化の間で、mIoUおよび視覚的品質の観点から、どのような差が生じるか？
• RQ4 Lovász-Softmax損失は、アーキテクチャの変更なしに、最先端のセグメンテーションモデルに適用可能か？
• RQ5 本手法は、小物対象やクラス不均衡データセットにおいても性能向上をもたらすか？

主な発見

• Pascal VOCでは、交差エントロピーで学習したモデルを微調整した際、mIoUが68.7±1.2から72.5±1.2に向上し、性能が低下するベイジアン手法を著しく上回った。
• Cityscapesでは、ENetをLovász-Softmaxで微調整することで、クラスIoUを58.29%から63.06%に向上させ、誤検出が著しく減少し、境界の詳細が改善された。
• DeepLabやENetを含む複数のアーキテクチャにおいて、ネットワーク設計やデータオーグメンテーションの変更なしに一貫したmIoU向上を達成した。
• 等バッチトレーニングにより、特にPascal VOCのようなクラス不均衡データセットで一般化性能が向上したが、より均一なデータセット（例：Cityscapes）では顕著な向上は見られなかった。
• 直接的に関心の指標を最適化することで、従来手法で見られた予測の不一致（miscalibration）の問題を軽減し、より適切にキャリブレーションされた予測が得られた。
• コードは公開されており、再現性が確保され、既存のセグメンテーションパイプラインへの統合が可能である。