[論文レビュー] Boundary-sensitive Network for Portrait Segmentation

Xianzhi Du, Larry S. Davis+6 more|arXiv (Cornell University)|Dec 22, 2017

Advanced Neural Network Applications参考文献 22被引用数 5

ひとこと要約

本論文は、境界に敏感なカーネルとソフトラベル化を用いた境界感受性ネットワーク（BSN）を提案し、境界の正確性を向上させる3つの鍵となるイノベーションを実現する。具体的には、個々の境界感受性カーネルとグローバル境界感受性カーネルの導入、および境界属性分類器の統合である。BSNは最先端の性能を達成し、PFCNデータセットで96.7%の平均IoUを達成し、COCO、COCO-Stuff、PASCAL VOCのポートレートベンチマークにおいても、先行手法を大きく上回った。

ABSTRACT

Compared to the general semantic segmentation problem, portrait segmentation has higher precision requirement on boundary area. However, this problem has not been well studied in previous works. In this paper, we propose a boundary-sensitive deep neural network (BSN) for portrait segmentation. BSN introduces three novel techniques. First, an individual boundary-sensitive kernel is proposed by dilating the contour line and assigning the boundary pixels with multi-class labels. Second, a global boundary-sensitive kernel is employed as a position sensitive prior to further constrain the overall shape of the segmentation map. Third, we train a boundary-sensitive attribute classifier jointly with the segmentation network to reinforce the network with semantic boundary shape information. We have evaluated BSN on the current largest public portrait segmentation dataset, i.e, the PFCN dataset, as well as the portrait images collected from other three popular image segmentation datasets: COCO, COCO-Stuff, and PASCAL VOC. Our method achieves the superior quantitative and qualitative performance over state-of-the-arts on all the datasets, especially on the boundary area.

研究の動機と目的

• 一般のセマンティックセグメンテーション手法でしばしば軽視される、高精度な境界セグメンテーションの課題に取り組む。
• 背景置換えやARアプリケーションにおいて重要な、髪の毛、装飾品、耳などの細粒度の詳細における境界の正確性を向上させる。
• 微調整なしに多様なポートレートデータセットに一般化できる手法を開発する。これには、制約のない、困難なリアルワールド画像も含まれる。
• トレーニングプロセスに境界に敏感な監視と形状の事前知識を統合し、モデルのロバスト性と局所化の正確性を向上させる。

提案手法

• 前景の輪郭を拡張することで個々の境界感受性カーネルを導入し、境界ピクセルに第三のクラスとしてソフトラベルを割り当てることで、画像単位の境界監視を可能にする。
• 空間的領域の境界にある確率をエンコードする位置感受性事前知識として、グローバル境界感受性カーネルを採用し、全体のセグメンテーション形状をガイドする。
• セグメンテーションネットワークと同時に訓練する境界属性分類器を統合し、意味的形状情報を取り入れ、境界表現の学習を向上させる。
• 境界ピクセルに複数クラスラベル（前景、背景、境界）を割り当てるソフトラベル化戦略を採用し、不確実性とエッジの連続性をよりよく捉える。
• 高解像度の特徴マップを維持し、境界予測に不可欠な空間的詳細を保持するため、ドロップアウトを用いた畳み込みを適用する。
• 境界を10ピクセルに拡張することで、セグメンテーション出力からトリマップを生成し、画像マットイングパイプラインへの直接利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ソフトラベル化による明示的な境界監視は、困難なポートレート境界におけるセグメンテーション正確性を向上させるか？
• RQ2 形状事前知識としてのグローバル境界感受性カーネルの統合は、ポートレートセグメンテーション全体の整合性と正確性を向上させるか？
• RQ3 境界属性分類器と共同で訓練することで、ネットワークの細粒度の境界構造の認識・予測能力が向上するか？
• RQ4 提案手法は、ドメイン特化の微調整なしに、多様でリアルワールドのポートレートデータセットにどの程度一般化できるか？
• RQ5 セグメンテーション出力は、画像マットイング応用に適した高品質なトリマップをどの程度効果的に生成できるか？

主な発見

• BSNはPFCNデータセットで96.7%の平均IoUを達成し、以前の最先端手法を大きく上回った。
• COCOポートレートデータセットでは77.7%の平均IoUを達成し、微調整なしにPortraitFCN+を大きく上回った。
• COCO-Stuffポートレートでは72.0%の平均IoUを達成し、多様で複雑なシーンにおいても強力な一般化性能を示した。
• PASCAL VOCポートレートでは75.6%の平均IoUを達成し、制約のない、リソースが限られたポートレートデータに対して堅牢であることを確認した。
• 視覚的比較では、DeepLabv2 や PortraitFCN+ と比較して、髪の毛、耳、装飾品の境界が滑らかでより正確に生成された。
• BSN出力から生成されたトリマップは、図8の定性的な結果により、後続の画像マットイング応用に適していることが検証された。