[論文レビュー] ELKPPNet: An Edge-aware Neural Network with Large Kernel Pyramid Pooling for Learning Discriminative Features in Semantic Segmentation

Xianwei Zheng, Linxi Huan+2 more|arXiv (Cornell University)|Jun 26, 2019

Advanced Neural Network Applications被引用数 5

ひとこと要約

ELKPPNetは、大径カーネルピラミッドプーリング（LKPP）を備えたエッジに配慮したニューラルネットワークを提案し、より優れたセマンティックセグメンテーションを実現する。バランスの取れたエンコーダ・デコーダアーキテクチャ、マルチスケール特徴抽出のためのLKPPブロック、エッジに配慮した損失関数を統合することで、境界の正確性と特徴の識別能が向上し、Cityscapes、CamVid、NYUDv2ベンチマークで最先端の性能を達成した。

ABSTRACT

Semantic segmentation has been a hot topic across diverse research fields. Along with the success of deep convolutional neural networks, semantic segmentation has made great achievements and improvements, in terms of both urban scene parsing and indoor semantic segmentation. However, most of the state-of-the-art models are still faced with a challenge in discriminative feature learning, which limits the ability of a model to detect multi-scale objects and to guarantee semantic consistency inside one object or distinguish different adjacent objects with similar appearance. In this paper, a practical and efficient edge-aware neural network is presented for semantic segmentation. This end-to-end trainable engine consists of a new encoder-decoder network, a large kernel spatial pyramid pooling (LKPP) block, and an edge-aware loss function. The encoder-decoder network was designed as a balanced structure to narrow the semantic and resolution gaps in multi-level feature aggregation, while the LKPP block was constructed with a densely expanding receptive field for multi-scale feature extraction and fusion. Furthermore, the new powerful edge-aware loss function is proposed to refine the boundaries directly from the semantic segmentation prediction for more robust and discriminative features. The effectiveness of the proposed model was demonstrated using Cityscapes, CamVid, and NYUDv2 benchmark datasets. The performance of the two structures and the edge-aware loss function in ELKPPNet was validated on the Cityscapes dataset, while the complete ELKPPNet was evaluated on the CamVid and NYUDv2 datasets. A comparative analysis with the state-of-the-art methods under the same conditions confirmed the superiority of the proposed algorithm.

研究の動機と目的

• セマンティックセグメンテーションにおける識別的特徴学習の課題、特にマルチスケールのオブジェクトや外観が類似する隣接オブジェクトに対して、それを解決すること。
• バランスの取れたエンコーダ・デコーダ構造により、マルチレベルの特徴統合におけるセマンティックギャップと解像度ギャップを低減すること。
• 大径カーネルピラミッドプーリング（LKPP）を用いて、密に拡張する受容野により、マルチスケールの特徴抽出と統合を向上させること。
• 新しいエッジに配慮した損失関数を用いて、境界品質を直接最適化することで、セグメンテーション境界を精緻化すること。
• Cityscapes、CamVid、NYUDv2を含む標準ベンチマークで、最先端の性能を達成すること。

提案手法

• モデルは、特徴マップ間のセマンティックおよび解像度の差を最小限に抑えるために、バランスの取れたエンコーダ・デコーダネットワークを採用する。
• 大径カーネルピラミッドプーリング（LKPP）ブロックは、増加するカーネルサイズを有する空洞畳み込みを用いて、マルチスケールのコンテキスト統合のための密に拡張する受容野を構築する。
• LKPPブロックは、複数スケールからの特徴を連結し、1×1畳み込みを用いて統合することで、コンテキスト表現を豊かにする。
• トレーニング中に境界領域に重点を置くために、エッジに配慮した損失関数が導入される。これにより、局所化の正確性が向上する。
• 損失関数は、予測されたセグメンテーションマスクから導出されるエッジの監視情報を組み合わせたクロスエントロピー損失を含む。
• ネットワーク全体はエンドツーエンドで学習可能であり、特徴学習と境界精緻化の共同最適化が可能である。

実験結果

リサーチクエスチョン

• RQ1 大径カーネルピラミッドプーリングモジュールは、セマンティックセグメンテーションのためのマルチスケールコンテキスト特徴を効果的に捉えることができるか？
• RQ2 エッジに配慮した損失関数を組み込むことで、よりシャープで正確なオブジェクト境界が得られるか？
• RQ3 バランスの取れたエンコーダ・デコーダアーキテクチャは、特徴統合におけるセマンティックギャップと解像度不一致を低減できるか？
• RQ4 提案されたELKPPNetは、セグメンテーションの正確性と境界の一貫性という観点から、最先端のモデルと比較してどうなるか？
• RQ5 エッジに配慮した損失関数は、細分化されたオブジェクトの区別が難しい課題の多いデータセットで、どれほど性能を向上させるか？

主な発見

• ELKPPNetはCityscapesの検証セットで最先端の性能を達成し、mIoUと境界正確性の両面で従来手法を上回った。
• CamVidデータセットでは、完全なELKPPNetモデルがmIoU 78.9%を達成し、屋内シーンにおける優れた一般化能力を示した。
• NYUDv2データセットでは、mIoU 69.8%を達成し、細分化されたオブジェクトカテゴリを含む複雑な屋内環境でも頑健であることを示した。
• アブレーションスタディの結果、LKPPブロックとエッジに配慮した損失関数の両方が性能向上に寄与していることが確認され、特にエッジに配慮した損失関数が境界精緻化に最も寄与した。
• 特にオブジェクト密度の高い都市部や屋内シーンにおいて、外観が類似する隣接オブジェクトを区別する能力に優れた。
• LKPPブロックは長距離のコンテキスト情報を効果的に捉えており、オブジェクト領域内のセグメンテーションの一貫性を向上させた。