[論文レビュー] Correlation Maximized Structural Similarity Loss for Semantic Segmentation

Shuai Zhao, Boxi Wu+3 more|arXiv (Cornell University)|Oct 19, 2019

Advanced Neural Network Applications参考文献 48被引用数 15

ひとこと要約

本論文は、画素単位の構造的依存関係を明示的にモデル化することで、モデル性能を向上させる、新しい相関最大化構造的類似度損失（SSL）を提案する。SSIM指数にインspiredされ、SSLは正解と予測セグメンテーションマップ間の線形相関を用いて構造的類似度を定量化し、交差エントロピー損失を再重み付けして、相関が低い領域に注目することで、境界部および小サイズオブジェクトのセグメンテーションを改善する。計算コストの増加は最小限に抑えられる。本手法は、PASCAL VOC 2012で最大1.93%、Cityscapesで1.39%のmIoU向上を一貫して達成する。

ABSTRACT

Most semantic segmentation models treat semantic segmentation as a pixel-wise classification task and use a pixel-wise classification error as their optimization criterions. However, the pixel-wise error ignores the strong dependencies among the pixels in an image, which limits the performance of the model. Several ways to incorporate the structure information of the objects have been investigated, \eg, conditional random fields (CRF), image structure priors based methods, and generative adversarial network (GAN). Nevertheless, these methods usually require extra model branches or additional memories, and some of them show limited improvements. In contrast, we propose a simple yet effective structural similarity loss (SSL) to encode the structure information of the objects, which only requires a few additional computational resources in the training phase. Inspired by the widely-used structural similarity (SSIM) index in image quality assessment, we use the linear correlation between two images to quantify their structural similarity. And the goal of the proposed SSL is to pay more attention to the positions, whose associated predictions lead to a low degree of linear correlation between two corresponding regions in the ground truth map and the predicted map. Thus the model can achieve a strong structural similarity between the two maps through minimizing the SSL over the whole map. The experimental results demonstrate that our method can achieve substantial and consistent improvements in performance on the PASCAL VOC 2012 and Cityscapes datasets. The code will be released soon.

研究の動機と目的

• 画素単位の交差エントロピー損失が画素間の空間的依存関係を無視するという限界を解決する。
• CRF やアフィニティフィールド、GAN などの既存の構造に配慮した手法が計算コストが高く、あるいはわずかな向上しか得られないという欠点を克服する。
• 追加のモデルブランチや推論時のオーバーヘッドを必要とせず、構造的一致性を向上させる単純で効果的な損失関数を開発する。
• 訓練時の計算コストを最小限に抑えつつ、さまざまなデータセットおよびアーキテクチャで一貫した性能向上を実現する。

提案手法

• 正解と予測セグメンテーションマップの対応領域間の線形相関を測定する構造的類似度損失（SSL）を提案する。
• 正規化された正解領域と予測領域の乖離を用いて、構造的差を計算し、それによって線形相関の度合いを測定する。
• 構造的差の大きさに基づいて標準的な交差エントロピー損失を再重み付けし、相関が低い領域に高い注目を向ける。
• 構造的差が小さい画素を除外することで、オンラインハード例マイニング戦略を適用し、訓練効率を向上させる。
• SSLを訓練中にプラグイン損失として統合し、わずかな修正と無視できる追加計算コストで実装可能である。
• 標準的なディープラーニングバックボーン（例：DeepLabv3）を用い、画素単位の精度と構造的一致性の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 追加のモデル複雑性を加えずに、単純で微分可能な損失関数がセマンティックセグメンテーションにおける構造的依存関係を効果的にモデル化できるか？
• RQ2 正解マップと予測マップ間の線形相関を組み込むことで、困難なオブジェクト境界や小サイズ構造のセグメンテーション性能がどのように向上するか？
• RQ3 CRF やアフィニティフィールド、GAN などの既存の構造に配慮した手法と比較して、提案されたSSLはmIoU向上と計算効率の両面で優れているか？
• RQ4 SSLは異なるアーキテクチャやデータセットに普遍的に適用可能であり、一貫した性能向上を達成できるか？
• RQ5 SSLにおける構造的類似度を計算する最適な領域サイズは何か？また、それは性能にどのように影響するか？

主な発見

• 提案されたSSLは、標準的な交差エントロピー損失と比較して、PASCAL VOC 2012の検証セットで1.93%のmIoU向上を達成し、CRF やアフィニティフィールド損失を上回る性能を示した。
• Cityscapesデータセットでは、DeepLabv3を用いた場合、ベースラインの交差エントロピー損失に対して1.39%のmIoU向上を達成し、全クラスにわたり一貫した向上を示した。
• GANベースの手法（例：Luc et al. [27]）と比較して、わずか0.25%のmIoU向上しか得られなかったが、はるかに効率的で安定している。
• 領域サイズ3のSSLがPASCAL VOC 2012で76.76%の最高mIoUを達成し、局所的詳細と構造的一致性の最適なバランスを示した。
• 追加の推論時のオーバーヘッドやメモリオーバーヘッドが不要であるため、リアルタイムおよびリソース制限のあるアプリケーションに適している。
• クラスごとの結果から、小サイズまたは低コントラストのオブジェクト（例：馬の脚、レースナンバーで覆われた領域）において顕著な改善が確認され、構造的認識能力の向上が裏付けられた。