[論文レビュー] Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation

Seunghoon Hong, Hyeonwoo Noh+1 more|arXiv (Cornell University)|Jun 16, 2015

Advanced Neural Network Applications参考文献 19被引用数 174

ひとこと要約

本論文は、分類とセグメンテーションを2つの別々のネットワークに分離することで、分類に画像レベルのラベル、セグメンテーションにピクセル単位のアノテーションを用いる、半教師ありセマンティックセグメンテーションのための分離型ディープニューラルネットワークを提案する。ブリッジングレイヤーを介してクラス固有の活性マップを活用することで、セグメンテーションの探索空間を縮小し、最小限の強力なアノテーションで高い性能を達成する。PASCAL VOCでは、クラス1つあたり5～10枚のピクセル単位のアノテーションしか使用しなくても、既存の半教師あり手法を上回る性能を発揮する。

ABSTRACT

We propose a novel deep neural network architecture for semi-supervised semantic segmentation using heterogeneous annotations. Contrary to existing approaches posing semantic segmentation as a single task of region-based classification, our algorithm decouples classification and segmentation, and learns a separate network for each task. In this architecture, labels associated with an image are identified by classification network, and binary segmentation is subsequently performed for each identified label in segmentation network. The decoupled architecture enables us to learn classification and segmentation networks separately based on the training data with image-level and pixel-wise class labels, respectively. It facilitates to reduce search space for segmentation effectively by exploiting class-specific activation maps obtained from bridging layers. Our algorithm shows outstanding performance compared to other semi-supervised approaches even with much less training images with strong annotations in PASCAL VOC dataset.

研究の動機と目的

• 限られたピクセル単位のアノテーションを効果的に活用することで、セマンティックセグメンテーションにおける高いアノテーションコストの課題に対処すること。
• 分類とセグメンテーションのタスクを分離することで、セグメンテーションの探索空間を縮小すること。
• 弱教師あり手法で一般的な反復的最適化手順を避けることで、トレーニングを単純化すること。
• 画像レベルおよびピクセル単位の両方のアノテーションを活用することで、半教師あり設定での性能を向上させること。
• ブリッジングレイヤーを介して各クラスごとのセグメンテーションをガイドすることで、最小限の強力な監督のもとで頑健な一般化性能を実現すること。

提案手法

• アーキテクチャは、分類とセグメンテーションを2つの別々のディープニューラルネットワークに分離する。
• 分類ネットワークは、画像レベルのラベルを用いて画像内のオブジェクトクラスを特定する。
• セグメンテーションネットワークは、分類ネットワークが特定した各クラスについて、図背景分離を実行する。
• ブリッジングレイヤーは、分類ネットワークからセグメンテーションネットワークへクラス固有の活性マップを転送し、各クラスに焦点を当てたセグメンテーションを可能にする。
• トレーニングは各ネットワークで独立して実行される：分類は画像レベルのラベルで、セグメンテーションはピクセル単位のアノテーションで。
• 推論は直接的であり、後処理や反復的最適化を必要としない。

実験結果

リサーチクエスチョン

• RQ1 限られた強力なアノテーションでの半教師ありセマンティックセグメンテーションにおいて、分類とセグメンテーションを分離することで性能が向上するか？
• RQ2 クラス固有の特徴を転送するブリッジングレイヤーを用いることで、セグメンテーションの探索空間はどのように縮小されるか？
• RQ3 反復的最適化を必要としないトレーニング戦略は、既存の反復的弱教師あり手法を上回る性能を発揮できるか？
• RQ4 クラス1つあたり数枚のピクセル単位のアノテーションしか使用しなくても、性能はどの程度向上するか？
• RQ5 精度とトレーニングの単純さの観点から、分離型アーキテクチャは、統合最適化と比較してどの程度優れているか？

主な発見

• 提案されたDecoupledNetは、クラス1つあたり5枚または10枚の強力なアノテーションしか使用しなくても、WSSL [8] よりも顕著に高い平均IoUを達成した。
• クラス1つあたり5枚の強力なアノテーションで、長時間の後処理を要する最先端の弱教師あり手法 [7] よりも大幅に性能を上回った。
• PASCAL VOC 2012では、画像レベルのラベルのみで42.0%の平均IoUを達成したが、DecoupledNetは最小限の強力なアノテーションではるかに高い性能を発揮した。
• 両方のネットワークを同じ画像でトレーニングするDecoupledNet-Strですら、DeconvNet [12] を上回った。これは、分離型設計の利点を示している。
• 定性的な結果から、クラス1つあたり5枚の強力なアノテーションでの一般化性能が良好であり、強力なアノテーションを追加するにつれて、精度が向上し、ラベルの混同が減少した。
• トレーニング手順は明確で再現可能であり、他の半教師ありアプローチで一般的なヒューリスティックで複雑な反復的ステップを回避した。