[論文レビュー] Panoptic Edge Detection

Yuan Hu, Yingtian Zou+1 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 5

ひとこと要約

本稿では、物質的カテゴリのためのセマンティックレベルのエッジ検出と、オブジェクトインスタンスのためのインスタンスレベルのエッジ検出を統合する新しいタスク、パノプティックエッジ検出（PED）を紹介する。著者らは、共有された特徴を用いてセマンティックエッジ検出、オブジェクト検出、インスタンスエッジ検出を同時に最適化する、マルチブランチでエンドツーエンドで学習可能なフレームワーク「パノプティックエッジネットワーク（PEN）」を提案し、CityscapesおよびADE20Kで新しい$F^2$評価指標を用いた統合的評価において最先端の性能を達成した。

ABSTRACT

Pursuing more complete and coherent scene understanding towards realistic vision applications drives edge detection from category-agnostic to category-aware semantic level. However, finer delineation of instance-level boundaries still remains unexcavated. In this work, we address a new finer-grained task, termed panoptic edge detection (PED), which aims at predicting semantic-level boundaries for stuff categories and instance-level boundaries for instance categories, in order to provide more comprehensive and unified scene understanding from the perspective of edges.We then propose a versatile framework, Panoptic Edge Network (PEN), which aggregates different tasks of object detection, semantic and instance edge detection into a single holistic network with multiple branches. Based on the same feature representation, the semantic edge branch produces semantic-level boundaries for all categories and the object detection branch generates instance proposals. Conditioned on the prior information from these two branches, the instance edge branch aims at instantiating edge predictions for instance categories. Besides, we also devise a Panoptic Dual F-measure (F2) metric for the new PED task to uniformly measure edge prediction quality for both stuff and instances. By joint end-to-end training, the proposed PEN framework outperforms all competitive baselines on Cityscapes and ADE20K datasets.

研究の動機と目的

• より細分化されたシーン理解のニーズに対応するため、物質的カテゴリのためのセマンティックエッジ検出と、オブジェクトインスタンスのためのインスタンスレベルエッジ検出を統合する新しいタスク、パノプティックエッジ検出（PED）を導入すること。
• 既存のカテゴリに依存するセマンティックエッジ検出の限界を克服し、オブジェクトカテゴリのインスタンス境界を区別できない点を解消すること。
• 物質のセマンティックレベルエッジとオブジェクトのインスタンスレベルエッジを、1つのエンドツーエンドネットワークで同時に予測できる統合的ディーブラーニングフレームワークの開発。
• 物質とインスタンスカテゴリの両方でエッジ品質を一貫して評価できる新しい評価指標、パノプティックデュアルFメジャー（$F^2$）の提案。
• エッジ検出とオブジェクト検出のコンponentを別々に学習するのではなく、ジョイントマルチタスク学習が性能向上に寄与することの実証。

提案手法

• 共通のビジュアルバックボーンを共有するマルチブランチで1つのネットワークアーキテクチャであるパノプティックエッジネットワーク（PEN）を設計し、セマンティックエッジ検出、オブジェクト検出、インスタンスエッジ検出の3つのタスク固有のブランチを含む。
• 物質とインスタンスカテゴリの両方のカテゴリ固有エッジを予測するために、セマンティックエッジブランチで階層的特徴統合を採用。
• バウンディングボックス回帰によりインスタンスプロポーザルを生成するリージョンベースのオブジェクト検出ヘッド（Faster R-CNNをインspired）を採用。
• インスタンスエッジ検出ブランチを、セマンティックエッジおよびオブジェクト検出ブランチからの事前情報に条件づけて、インスタンス固有のエッジマップを生成。
• エッジ境界を歪ませる特徴リサイズ操作（例：ROI Align）を排除し、高解像度のエッジ詳細を保持。
• パノプティックデュアルFメジャー（$F^2$）を導入し、物質に対してはMaximum F-Measure（ODS）、インスタンスに対してはオブジェクト検出のF1スコアとエッジF-Measureを統合することで、両カテゴリのエッジ品質を一貫して評価可能にした。

実験結果

リサーチクエスチョン

• RQ1 統合的ディーブラーニングフレームワークは、物質カテゴリのセマンティックレベルエッジとオブジェクトインスタンスのインスタンスレベルエッジを同時に予測できるか？
• RQ2 セマンティックエッジ検出、オブジェクト検出、インスタンスエッジ検出の3つのタスクをジョイントで学習することで、それらを別々に学習する場合と比較して性能がどのように向上するか？
• RQ3 パノプティックエッジ検出設定において、物質とインスタンスカテゴリの両方でエッジ品質を一貫して評価できる適切な評価指標は何か？
• RQ4 ROIアライメントなどの特徴リサイズを回避することで、インスタンスレベルエッジ検出におけるエッジ境界の忠実度はどの程度向上するか？
• RQ5 提案されたPENフレームワークは、既存のパノプティックセグメンテーションおよびセマンティックエッジ検出ベースラインと比較して、エッジ検出精度においてどのように優れているか？

主な発見

• 提案されたPENフレームワークは、Cityscapesデータセットで$F^2$スコア60.1%を達成し、PEDタスクにおいてCASENet+Faster（49.2%）およびPanoptic FPN*（58.8%）を上回った。
• Cityscapesでは、PENは物質カテゴリの$F_{edge}$をPanoptic FPN*と比較して9.5%向上、インスタンスカテゴリでは16.3%向上し、エッジ検出品質の顕著な向上を示した。
• インスタンスカテゴリでは、PENはCityscapesで$F_{edge}$67.8%、$F^{2}$37.6%を達成し、Panoptic FPN*と比較して$F^{2}$で16.3%の向上を示し、インスタンスレベルエッジ予測における優位性を裏付けた。
• ADE20Kでは、インスタンスカテゴリでPENは$F^{2}$34.5%を達成し、CASENet+Faster（21.4%）およびPanoptic FPN*（14.5%）を上回り、多様なシーンへの強い一般化能力を確認した。
• 定性的な結果から、PENはROIアライメントのリサイズによる歪みを受けるPanoptic FPN*と比較して、より鋭く正確なインスタンス境界を生成していることがわかった。
• アブレーションスタディにより、ジョイントトレーニングがインスタンスエッジ検出性能を顕著に向上させ、CASENet+Fasterと比較して$F_{edge}$で29.8%の向上を達成した。これはマルチタスク学習の利点を示している。