[論文レビュー] Simultaneous Detection and Segmentation

Bharath Hariharan, Pablo Arbeláez+2 more|arXiv (Cornell University)|Jul 7, 2014

Advanced Neural Network Applications参考文献 26被引用数 199

ひとこと要約

本論文は、畳み込みニューラルネットワークを用いて領域提案とカテゴリ固有のトップダウン精錬を組み合わせることで、同時検出とセグメンテーション（SDS）のための新規な深層学習フレームワークを提案する。この手法は、ベースラインより7ポイントのAPr向上（16％相対的）、セマンティックセグメンテーションで5ポイントの向上（10％相対的）、および物体検出性能の向上を達成し、セグメンテーションと検出の共同学習の有効性を示している。

ABSTRACT

We aim to detect all instances of a category in an image and, for each instance, mark the pixels that belong to it. We call this task Simultaneous Detection and Segmentation (SDS). Unlike classical bounding box detection, SDS requires a segmentation and not just a box. Unlike classical semantic segmentation, we require individual object instances. We build on recent work that uses convolutional neural networks to classify category-independent region proposals (R-CNN [16]), introducing a novel architecture tailored for SDS. We then use category-specific, top- down figure-ground predictions to refine our bottom-up proposals. We show a 7 point boost (16% relative) over our baselines on SDS, a 5 point boost (10% relative) over state-of-the-art on semantic segmentation, and state-of-the-art performance in object detection. Finally, we provide diagnostic tools that unpack performance and provide directions for future work.

研究の動機と目的

• 物体検出（バウンディングボックス）とセマンティックセグメンテーション（ピクセル単位のラベル）の間のギャップを埋めるために、両タスクを1つのフレームワークに統合すること。
• 特定のカテゴリのすべてのインスタンスを検出し、それぞれに正確なピクセル単位のセグメンテーションマスクを割り当てる手法を開発すること。
• 領域提案とフォアグラウンドマスクの特徴抽出器を共同で学習させることで、検出およびセグメンテーションタスクの両方の性能を向上させること。
• セグメンテーションの正確性とインスタンスレベルの局在化をよりよく評価するための新しい評価指標（APrおよびAPvol）を導入すること。
• 検出およびセグメンテーションの失敗モードを診断し、将来のモデル改善のための指針を提供すること。

提案手法

• MCG（最大安定静的領域）を用いて、1枚の画像あたり2000個のカテゴリに依存しない領域提案を生成する。
• バウンディングボックスと領域マスクの両方から、別々に微調整されたCNNを用いて特徴を抽出し、領域提案とフォアグラウンドマスクの特徴抽出を共同でEnd-to-Endで学習することで、特徴学習を向上させる。
• CNN特徴に基づいてトレーニングされたSVMを用いて、各領域提案のカテゴリスコアを分類予測する。
• スコア化された提案に対して非最大抑制（NMS）を適用し、残存する候補をカテゴリ固有の粗いマスク予測で精錬する。
• 精錬されたマスクと元の領域提案を組み合わせることで、局在化およびセグメンテーションの正確性を向上させる。
• 評価のためのセマンティックセグメンテーションベンチマークで使用可能なピクセル単位のラベルに、最終出力をペースティング方式で変換する。

実験結果

リサーチクエスチョン

• RQ1 分離されたタスクモデルよりも、統合された深層学習フレームワークが、物体検出とインスタンスレベルのセグメンテーションを同時に最適化し、より高い性能を達成できるか？
• RQ2 領域提案とフォアグラウンドマスクの特徴の共同学習が、セグメンテーションおよび検出の正確性に与える影響は何か？
• RQ3 誤局在化と誤検出がセグメンテーション性能に与える影響は何か？また、それらを診断し、軽減する方法はあるか？
• RQ4 提案されたSDSフレームワークは、セマンティックセグメンテーションおよび物体検出におけるSOTA結果をどの程度向上させるか？
• RQ5 さまざまなオーバーラップ閾値の変化が性能に与える影響は何か？また、閾値全体にわたる性能の表面を最もよく捉える指標は何か？

主な発見

• 提案されたSDSフレームワークは、49.5％の平均APrを達成し、ベースライン手法より7ポイントの絶対的（16％相対的）向上を示した。
• APbの平均値はR-CNNの51.0％から53.0％に向上し、物体検出においてSOTAの性能を示した。
• セマンティックセグメンテーションにおいては、VOC2011テストで52.6％の平均ピクセルIOU、VOC2012テストで51.6％を達成し、以前のSOTAより5ポイントの絶対的（10％相対的）向上を示した。
• APvol指標はSDSで41.4％を示し、さまざまなオーバーラップ閾値において優れた性能を示しており、誤局在化エラーが顕著に低減された。
• 診断分析の結果、誤局在化が性能低下の最大要因（最高性能モデルで15.8％のAPr損失）であることが判明し、カテゴリ固有のマスクで提案を精錬することでこの誤差が低減された。
• モデルは複雑なシーンに対しても良好に一般化でき、ごちゃついた環境や非標準的なポーズのインスタンスでさえも、定性的な例から正しく個々のインスタンスを解釈できた。