[論文レビュー] Joint Semantic Segmentation and Boundary Detection using Iterative Pyramid Contexts

Mingmin Zhen, Jinglu Wang+6 more|arXiv (Cornell University)|Apr 16, 2020

Advanced Neural Network Applications参考文献 39被引用数 18

ひとこと要約

本稿では、反復的ピラミッドコンテキストモジュール（PCM）を用いてタスク間の特徴強化を可能にする、セマンティックセグメンテーションとセマンティック境界検出のための共同マルチタスク学習フレームワーク、RPCNetを提案する。非セマンティックエッジを抑制するための空間勾配統合と、境界の一貫性を強制する二重性損失（duality loss）を導入し、Cityscapesで81.8%のmIoU、境界検出で9.9%のAP向上を達成し、最先端の性能を実現した。

ABSTRACT

In this paper, we present a joint multi-task learning framework for semantic segmentation and boundary detection. The critical component in the framework is the iterative pyramid context module (PCM), which couples two tasks and stores the shared latent semantics to interact between the two tasks. For semantic boundary detection, we propose the novel spatial gradient fusion to suppress nonsemantic edges. As semantic boundary detection is the dual task of semantic segmentation, we introduce a loss function with boundary consistency constraint to improve the boundary pixel accuracy for semantic segmentation. Our extensive experiments demonstrate superior performance over state-of-the-art works, not only in semantic segmentation but also in semantic boundary detection. In particular, a mean IoU score of 81:8% on Cityscapes test set is achieved without using coarse data or any external data for semantic segmentation. For semantic boundary detection, we improve over previous state-of-the-art works by 9.9% in terms of AP and 6:8% in terms of MF(ODS).

研究の動機と目的

• 既存手法がセマンティックセグメンテーションと境界検出を独立したタスクとして扱う一方で、両者の二重性に起因する相関関係を無視しているという限界を是正すること。
• マスクの輪郭と真の境界との間の二重性を活用することで、セマンティックセグメンテーションにおける境界の正確性を向上させること。
• セマンティックマスクから導出される空間勾配を用いて、境界検出における非セマンティックエッジを抑制すること。
• ピラミッドコンテキストモジュールを介して、セグメンテーションと境界検出の間で反復的な特徴強化を可能にする共同学習フレームワークを構築すること。
• セマンティックセグメンテーションおよびセマンティック境界検出のベンチマークで最先端の性能を達成すること。

提案手法

• 反復的ピラミッドコンテキストモジュール（PCM）は、マルチスケールのコンテキスト特徴を用いて、セマンティックセグメンテーションと境界検出のタスク間で特徴マップを交互に強化する。
• 境界検出のため、セマンティックマスクから導出される空間勾配（∇M）をスライス結合により確率マップと統合することで、非セマンティックエッジを抑制する。
• 予測マスクの外周（外側輪郭）から導出される境界と真の境界との一貫性を強制するための新しい二重性損失を導入する。
• この二重性損失は微分可能であり、エンドツーエンドの学習中に適用され、セグメンテーションにおける境界画素の正確性を向上させる。
• バックボーンとしてResNet-101を用い、細かいアノテーションのみを用いたCityscapesデータセットで学習を行う。
• ネットワークは、セグメンテーションおよび境界検出の標準的なクロスエントロピー損失に加え、二重性損失を組み合わせて最適化する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションとセマンティック境界検出の共同学習は、両タスクの性能向上に寄与するか？
• RQ2 非セマンティックエッジは、どのようにしてセマンティック境界検出で効果的に抑制できるか？
• RQ3 セグメンテーションマスクとその境界との二重性は、境界の正確性向上に活用可能か？
• RQ4 タスク間で反復的なマルチスケールコンテキスト集約が性能向上に寄与するか？
• RQ5 外部データや粗いアノテーションを一切使用せずに、共同フレームワークが最先端の手法を上回る性能を達成できるか？

主な発見

• RPCNetは、細かいアノテーションのみを用いた学習で、Cityscapesテストセットにおいて81.8%のmIoUを達成し、以前の最先端手法を上回った。
• 前回の最先端手法CASENet*と比較して、境界検出においてAPが9.9%向上し、MF(ODS)が6.8%向上した。
• 空間勾配統合の導入により、非セマンティックエッジにおける誤検出が減少し、よりクリアで正確な境界予測が得られた。
• 二重性損失により境界画素の正確性が顕著に向上し、特に「Pole」など従来誤分類されがちな物体についても、定性的に正しくセグメンテーションされるようになった。
• 反復的ピラミッドコンテキストモジュールにより、タスク間の効果的な特徴強化が実現され、両タスクに一貫した性能向上が見られた。
• 除去実験の結果、空間勾配統合と二重性損失の両者が独立して貢献するとともに、相乗効果を発揮することが確認された。