[論文レビュー] Deep Learning for Semantic Part Segmentation with High-Level Guidance

Stavros Tsogkas, Iasonas Kokkinos+2 more|arXiv (Cornell University)|May 10, 2015

Advanced Neural Network Applications参考文献 40被引用数 42

ひとこと要約

本論文は、完全畳み込みネットワークと密なCRFの後処理を組み合わせ、判別的に訓練された制限付きボルツマンマシン（RBM）を用いて高レベルの形状事前知識を統合する深層学習フレームワークを提案する。この手法は、歩行者および顔のパースニングベンチマークで最先端の性能を達成しており、地物の境界ボックスがなくても制約のない環境でも正確なセグメンテーションが可能である多スケール推論方式を採用している。

ABSTRACT

In this work we address the task of segmenting an object into its parts, or semantic part segmentation. We start by adapting a state-of-the-art semantic segmentation system to this task, and show that a combination of a fully-convolutional Deep CNN system coupled with Dense CRF labelling provides excellent results for a broad range of object categories. Still, this approach remains agnostic to high-level constraints between object parts. We introduce such prior information by means of the Restricted Boltzmann Machine, adapted to our task and train our model in an discriminative fashion, as a hidden CRF, demonstrating that prior information can yield additional improvements. We also investigate the performance of our approach ``in the wild'', without information concerning the objects' bounding boxes, using an object detector to guide a multi-scale segmentation scheme. We evaluate the performance of our approach on the Penn-Fudan and LFW datasets for the tasks of pedestrian parsing and face labelling respectively. We show superior performance with respect to competitive methods that have been extensively engineered on these benchmarks, as well as realistic qualitative results on part segmentation, even for occluded or deformable objects. We also provide quantitative and extensive qualitative results on three classes from the PASCAL Parts dataset. Finally, we show that our multi-scale segmentation scheme can boost accuracy, recovering segmentations for finer parts.

研究の動機と目的

• 高レベルの構造的事前知識を深層学習パイプラインに統合することで、セマンティックパーツセグメンテーションの性能を向上させること。
• ポーズや変形といった部分の幾何的可変性に柔軟に対処できる統計的形状モデルを用いて、物体パーツの幾何的変動の課題を解決すること。
• 正確な物体の境界ボックスが不要な現実世界のシナリオでも、正確なパーツセグメンテーションを実現すること。
• 判別的に訓練された形状事前知識が、直接的なCNN予測を上回る性能向上をもたらすことを実証すること。
• オブジェクト検出器に従ってガイドされる多スケール推論戦略を開発し、制約のない画像における頑健なセグメンテーションを実現すること。

提案手法

• 完全畳み込みネットワークに続く密なCRF後処理を用いた最先端のセマンティックセグメンテーションシステム（Chen et al., 2014a）を適応する。
• 複雑でマルチモーダルなパーツ配置と形状変動をモデル化するため、修正された制限付きボルツマンマシン（RBM）を導入する。
• RBMを隠れCRFとして判別的に訓練し、CNNスコアを入力として与えたときの正解パーツマスクの事後確率を最大化する。
• 複数の画像スケール（元サイズ、1.5倍、2倍）からの特徴マップを用いた多スケール推論戦略を採用し、解像度と精度を向上させる。
• 事前学習済みのオブジェクト検出器（Ren et al., 2015）を用いて領域提案を生成し、ネットワークの標準入力サイズ（321×321）に最も近いスケールを各領域に対して選択する。
• 重複する複数のボックスがある場合、各画像位置における最高スコアの提案を組み合わせてCNNスコアを統合する。

実験結果

リサーチクエスチョン

• RQ1 多様なオブジェクトカテゴリにわたる微細なセマンティックパーツセグメンテーションに適応可能な汎用的セマンティックセグメンテーションフレームワークは、効果的に拡張可能か？
• RQ2 パーツレイアウト制約のような高レベルの構造的事前知識を、深層学習パイプラインに効果的に統合できるか？
• RQ3 判別的に訓練されたRBMモデルは、従来の形状モデルよりも、物体パーツの複雑でマルチモーダルな形状変動をより効果的に捉えられるか？
• RQ4 オブジェクト検出に従ってガイドされる多スケール特徴統合は、制約のない画像における微細パーツのセグメンテーションをどのように向上させるか？
• RQ5 事前学習済みのCNNにCRF後処理を適用したシステムは、ベンチマークのパーツセグメンテーションデータセットにおいて、特別に手作業で設計された手法を上回る性能を示せるか？

主な発見

• 提案手法は、歩行者パーサーのベンチマークであるPenn-Fudanデータセットにおいて、多数の手作業で設計された競合手法を上回る優れた性能を達成した。
• 顔ラベル付けのLFWデータセットにおいて、遮蔽や変形がある顔に対しても現実的で質の高い結果を生成した。
• PASCAL Partsデータセットの3つのクラスにおいて、強力な定量的性能を示し、オブジェクトカテゴリにわたる一般化能力を確認した。
• 多スケールセグメンテーション方式により、より細かなパーツの詳細回復が可能になり、再トレーニングなしでPASCAL-Partsバリデーションセットのピクセル精度が73.9%から74.7%に向上した。
• CNN特徴量を入力として判別的に訓練したRBMは、直接的なCNN予測よりも明確な性能向上をもたらし、高レベルの事前知識統合の有効性を裏付けた。
• 正解の境界ボックスが不要な状況下でも、オブジェクト検出器によるスケールと位置のガイドのみで、本システムは実際に野生の環境でパーツセグメンテーションを成功させた。