[論文レビュー] A Network Structure to Explicitly Reduce Confusion Errors in Semantic Segmentation

Qichuan Geng, Xinyu Huang+2 more|arXiv (Cornell University)|Aug 1, 2018

Anomaly Detection Techniques and Applications参考文献 33被引用数 5

ひとこと要約

この論文は、識別しにくい類似クラスのグループを学習するサブネットのアンサンブルと、誤検出と誤検出を両方ペナルティ化する修正された交差エントロピー損失を導入することで、意味セグメンテーションにおける誤りを明示的に低減する、包括的で一般化可能な深層学習アーキテクチャを提案する。この手法は、バックボーンや後処理を変更せずに、CityscapesとPASCAL VOCでそれぞれResNet-101に対して最大3.05%、ResNet-38に対して最大1.30%のmIoU向上を達成し、一貫した顕著な向上を示した。

ABSTRACT

Confusing classes that are ubiquitous in real world often degrade performance for many vision related applications like object detection, classification, and segmentation. The confusion errors are not only caused by similar visual patterns but also amplified by various factors during the training of our designed models, such as reduced feature resolution in the encoding process or imbalanced data distributions. A large amount of deep learning based network structures has been proposed in recent years to deal with these individual factors and improve network performance. However, to our knowledge, no existing work in semantic image segmentation is designed to tackle confusion errors explicitly. In this paper, we present a novel and general network structure that reduces confusion errors in more direct manner and apply the network for semantic segmentation. There are two major contributions in our network structure: 1) We ensemble subnets with heterogeneous output spaces based on the discriminative confusing groups. The training for each subnet can distinguish confusing classes within the group without affecting unrelated classes outside the group. 2) We propose an improved cross-entropy loss function that maximizes the probability assigned to the correct class and penalizes the probabilities assigned to the confusing classes at the same time. Our network structure is a general structure and can be easily adapted to any other networks to further reduce confusion errors. Without any changes in the feature encoder and post-processing steps, our experiments demonstrate consistent and significant improvements on different baseline models on Cityscapes and PASCAL VOC datasets (e.g., 3.05% over ResNet-101 and 1.30% over ResNet-38).

研究の動機と目的

• 視覚的パターンの類似性や、特徴量解像度の低下やクラス不均衡といった学習由来要因によって生じる意味セグメンテーションにおける誤りを解消すること。
• 道路と歩道、建物とフェンスといった意味的に類似したクラス間の誤りを、副次的要因として扱うのでなく、明示的に低減すること。
• バックボーンや後処理を変更せずに、任意の既存のセグメンテーションネットワークに統合可能な汎用フレームワークを開発すること。
• 新しい損失関数により、識別しにくいクラスの誤分類を直接ペナルティ化することで、モデルの頑健性と精度を向上させること。

提案手法

• 事前学習済みモデルの正規化された誤り行列から特定された識別しにくいクラスのグループに基づいてサブネットを構築する。
• 各サブネットは、グループ内での識別しにくいクラス間の分離を最大化すると同時に、関係のないクラスの性能を維持するように訓練される。
• 誤り行列の値に基づいた再重み付けを施したペナルティ項を追加した修正された交差エントロピー損失が導入される。
• 損失関数は、識別しにくいクラスペアにおける偽陽性と偽陰性の両方を同時に最小化するように設計されており、識別能の向上が図られる。
• 最終的な予測は、メインネットワークとすべてのサブネットの出力のアンサンブル平均によって得られ、一般化性能の向上が実現される。
• 本手法は、CityscapesとPASCAL VOCでResNet-101およびResNet-38バックボーンに適用され、特徴エンコーダーやデコーダーヘッドの変更なしに実装された。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡や解像度の低下といった個別の要因に加え、意味的に類似したクラス間の誤りを明示的に低減する包括的なネットワーク構造を設計可能か？
• RQ2 出力空間が不均一なサブネットを用いることで、識別しにくいクラスペアの識別性能がどの程度向上するか？
• RQ3 誤り行列に基づき、誤検出と誤検出の両方をペナルティ化する修正された交差エントロピー損失は、セグメンテーション精度をどの程度向上させるか？
• RQ4 本手法は既存のネットワークにアーキテクチャの変更なしに普遍的に適用可能か？また、多様なデータセットで一貫した向上が得られるか？

主な発見

• 提案手法は、Cityscapesの検証セットにおいて、ベースラインのResNet-101に対して3.05%のmIoU向上を達成した。
• PASCAL VOC 2012データセットでは、ResNet-38ベースラインに対して1.30%のmIoU向上を達成し、79.38%に到達した。
• サブネットと改善された損失関数の組み合わせが最も高い向上をもたらしたが、損失関数単体でも顕著な性能向上が見られた。
• 異なるバックボーンアーキテクチャとデータセットにおいて一貫した向上を示し、優れた一般化性能を確認した。
• 可視化結果から、『トラック』と『バス』、『フェンス』と『建物』、『ライダー』と『人物』といったクラス間の誤りが顕著に減少した。
• 誤り行列の分析から、既知の誤りを起こしやすいクラスグループ間での誤分類が効果的に低減されていることが確認された。