[論文レビュー] Convolutional Oriented Boundaries: From Image Segmentation to High-Level Tasks

Kevis-Kokitsi Maninis, Jordi Pont-Tuset+2 more|arXiv (Cornell University)|Jan 17, 2017

Advanced Neural Network Applications参考文献 48被引用数 4

ひとこと要約

本稿では、事前学習済みの畳み込みニューラルネットワーク（CNN）を1回の順方向伝搬で使用して、マルチスケールで方向性を持つ輪郭と階層的な領域セグメンテーションを生成する、計算効率の高い手法であるConvolutional Oriented Boundaries（COB）を提案する。COBは、新しいスパarsityな境界表現を用いて、輪郭強度と方向性を同時に予測することで、PASCALやMS-COCOを含む複数のベンチマークで、輪郭検出、セマンティックセグメンテーション、オブジェクト候補生成の分野で最先端の性能を達成している。

ABSTRACT

We present Convolutional Oriented Boundaries (COB), which produces multiscale oriented contours and region hierarchies starting from generic image classification Convolutional Neural Networks (CNNs). COB is computationally efficient, because it requires a single CNN forward pass for multi-scale contour detection and it uses a novel sparse boundary representation for hierarchical segmentation; it gives a significant leap in performance over the state-of-the-art, and it generalizes very well to unseen categories and datasets. Particularly, we show that learning to estimate not only contour strength but also orientation provides more accurate results. We perform extensive experiments for low-level applications on BSDS, PASCAL Context, PASCAL Segmentation, and NYUD to evaluate boundary detection performance, showing that COB provides state-of-the-art contours and region hierarchies in all datasets. We also evaluate COB on high-level tasks when coupled with multiple pipelines for object proposals, semantic contours, semantic segmentation, and object detection on MS-COCO, SBD, and PASCAL; showing that COB also improves the results for all tasks.

研究の動機と目的

• 事前学習済みのCNNを高品質な輪郭および領域検出器に変換できる汎用的で効率的なフレームワークの開発。
• 従来の境界検出手法の限界を克服するため、輪郭強度と方向性を同時に予測することで、精度と一般化性能の向上を図ること。
• 高レベル特徴を活用することで、輪郭グループ化における計算コストの高いグローバル化ステップを排除すること。
• 異なるデータセットやタスク（セマンティックセグメンテーションやオブジェクト検出など）への適用を通じて、アプローチのモularityと転送可能性を示すこと。
• 将来的なベースCNNアーキテクチャの進歩に伴い、周辺グループ化の向上を可能にする、公開可能で再利用可能なフレームワークの提供。

提案手法

• COBは、事前学習済み分類CNN（例：ResNet）を1回の順方向伝搬で実行し、輪郭予測用のマルチスケール特徴マップを抽出する。
• 複数スケールで輪郭強度と方向性を予測するサブネットワーク（サイドブランチ）を導入することで、マルチスケールで方向性を持つ輪郭検出を実現する。
• 輪郭信号を効率的に符号化し、超距離的輪郭マップ（UCMs）を用いた高速な階層的領域グループ化を可能にする、新しいスパarsityな境界表現を提案する。
• 組み合わせ的グループ化アルゴリズムを用いて、複数スケールのUCMsを統合し、1つの階層的セグメンテーション構造を生成する。
• COBの出力は、オブジェクト候補生成、セマンティックセグメンテーション、オブジェクト検出などの下流パイプラインと互換性があり、再トレーニングなしに性能向上を実現する。
• フレームワークはモジュラー設計となっており、新規のベースCNNアーキテクチャが登場した場合でも、スムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 輪郭強度のみを予測する手法と比較して、強度と方向性を同時に予測することで、境界検出精度が顕著に向上するか？
• RQ2 追加の後処理なしに、1回のCNN順方向伝搬で高品質なマルチスケールで方向性を持つ輪郭と階層的領域を生成できるか？
• RQ3 高レベル特徴が利用可能な状況下で、スペクトル的分割法（例：スペクトルパーティショニング）のようなグローバルな境界正則化処理の必要性を排除できるか？
• RQ4 特にオブジェクト検出やセマンティックセグメンテーションのような高レベルビジョンタスクにおいて、COBは未学習のカテゴリーやデータセットに対してもどれほど一般化できるか？
• RQ5 効率性とセグメンテーション品質の観点から、COBのスパarsityな境界表現は、密度型表現と比較してどのように優れているか？

主な発見

• COBは、BSDS500、PASCAL Context、PASCAL VOC、NYUDの境界検出タスクで最先端の性能を達成しており、1枚あたり0.8秒の推論時間である。
• PASCAL VOC 2012では、COBのオブジェクト候補がFast-RCNNのオブジェクト検出mAPを1.5ポイント向上（76.7%から78.2%）させ、再トレーニングなしに実現した。
• セマンティックセグメンテーションにおいては、COBのスーパーピクセルが境界精度を向上させ、特に誤検出の低減とエッジ領域の精緻化が顕著に見られ、VOCおよびPASCALデータセットでの定性的な結果で示された。
• MS-COCOに対してもCOBは、再トレーニングなしに競争力のあるオブジェクト候補を生成でき、強力なゼロショット転送性を示した。
• スペクトル的グラフ分割法によるグローバル化処理の必要性を排除することで、計算コストを削減しながらも、性能を維持または向上させた。
• COBは、VOC 2007におけるセマンティック境界検出で新しい最先端のmAP 76.0を達成し、先行手法を上回った。