[論文レビュー] Locally Adaptive Learning Loss for Semantic Image Segmentation

Jinjiang Guo, Pengyuan Ren+3 more|arXiv (Cornell University)|Feb 23, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 5

ひとこと要約

本論文では、同じカテゴリの隣接予測を適応的にプーリングすることで、クラス内およびクラス間の判別能力を向上させる局所的に適応する学習損失を提案する。カテゴリに特化した局所的プーリングを通じて領域の一貫性に注目することで、Pascal VOC 2012 において標準的な交差エントロピー損失よりも 1.5% の平均IoU向上を達成し、センター損失やフォーカル損失を上回る性能を発揮する。

ABSTRACT

We propose a novel locally adaptive learning estimator for enhancing the inter- and intra- discriminative capabilities of Deep Neural Networks, which can be used as improved loss layer for semantic image segmentation tasks. Most loss layers compute pixel-wise cost between feature maps and ground truths, ignoring spatial layouts and interactions between neighboring pixels with same object category, and thus networks cannot be effectively sensitive to intra-class connections. Stride by stride, our method firstly conducts adaptive pooling filter operating over predicted feature maps, aiming to merge predicted distributions over a small group of neighboring pixels with same category, and then it computes cost between the merged distribution vector and their category label. Such design can make groups of neighboring predictions from same category involved into estimations on predicting correctness with respect to their category, and hence train networks to be more sensitive to regional connections between adjacent pixels based on their categories. In the experiments on Pascal VOC 2012 segmentation datasets, the consistently improved results show that our proposed approach achieves better segmentation masks against previous counterparts.

研究の動機と目的

• 同じクラスに属する隣接ピクセル間の空間的関係を捉えることができない標準的なピクセル単位の交差エントロピー損失の限界を是正すること。
• 深層ニューラルネットワークの領域的接続性およびセマンティックセグメンテーションにおけるクラス内変動への感受性を向上させること。
• カテゴリに特化した局所的損失機構を導入することで、長尾分布を示すデータセットにおけるクラスの不均衡を軽減すること。
• 局所的で適応的な予測プーリングが、計算複雑性を増加させることなくモデルの判別力向上に寄与することを示すこと。

提案手法

• 選択的で適応的なプーリングフィルタが、予測特徴マップと正解ラベルを並列にスライドさせ、中心ピクセルと同じカテゴリに属する隣接ピクセルをグループ化する。
• 各ストライドで、中心ピクセルのカテゴリに基づいて、局所的近傍からの予測クラス分布を1つの統合ベクトルにプールする。
• 損失は、統合ベクトルと中心ピクセルの正解ラベルの間で計算され、個々のピクセルの正確さよりも領域の一貫性を重視する。
• フィルタは可変なカーネルサイズ（例：3×3、5×5、7×7）と固定の受容野深さ 21 を使用し、局所的でカテゴリ固有の監視を可能にする。
• 損失はネットワーク内の微分可能レイヤーとして統合され、学習中は標準的な交差エントロピーと同等の時間計算量を維持する。
• 本手法は既存のアーキテクチャと互換性があり、フォーカル損失やセンター損失などの他の損失と組み合わせることで、さらなる性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 同じカテゴリの隣接予測をプーリングする局所的適応損失が、標準的なピクセル単位の交差エントロピー損失と比較してセグメンテーション性能を向上させることができるか？
• RQ2 提案された損失が、セマンティックセグメンテーションにおける深層特徴のクラス内凝集性とクラス間分離性にどのように影響を与えるか？
• RQ3 本手法が、長尾分布セグメンテーションデータセットにおけるメジャリティクラスへのバイアスをどの程度軽減できるか？
• RQ4 局所的適応損失は、マスクの正確性と頑健性を向上させつつ、計算効率を維持できるか？

主な発見

• 提案された局所的適応損失は、5×5×21 カーネルを用いて Pascal VOC 2012 で 76.1% の平均IoUを達成し、標準的なソフトマックス交差エントロピー（74.6%）を 1.5 パcentポイント上回った。
• 5×5×21 カーネルが最高の性能を発揮したが、より大きなカーネル（7×7×21）ではわずかな精度低下が見られ、最適な受容野サイズがあることを示した。
• センター損失は標準的な交差エントロピー（74.5%）とほぼ同等の結果を示し、この文脈では限定的な利点しか示さなかった。
• フォーカル損失は顕著な性能低下（70.4%）を示し、ハイパーパrameterが適切に調整されていない場合、セグメンテーションへの一般化性能が著しく低下することを示した。
• 可視化比較により、本手法で学習されたモデルが、より正確で頑健なセグメンテーションマスクを生成し、物体境界に適切に従っていることが確認された。
• 本手法は、領域的接続性へのモデル感受性を効果的に向上させ、孤立した誤分類ピクセルへの過学習を低減した。