[論文レビュー] PASCAL Boundaries: A Class-Agnostic Semantic Boundary Dataset

Vittal Premachandran, Boyán Bonev+1 more|arXiv (Cornell University)|Nov 25, 2015

Advanced Neural Network Applications参考文献 29被引用数 3

ひとこと要約

この論文は、約10,000枚の画像と459のセマンティッククラスを備えた大規模でクラスに依存しないセマンティック境界データセットPASCAL Boundariesを紹介する。これは従来のエッジ検出における曖昧性に対処する。また、マルチスケール深層ニューラルネットワークM-DSBDを提案し、新しいデータセット上でF-measure 0.652を達成し、ベースラインを上回り、BSDS500への強力な転移性を示した。

ABSTRACT

In this paper, we address the boundary detection task motivated by the ambiguities in current definition of edge detection. To this end, we generate a large database consisting of more than 10k images (which is 20x bigger than existing edge detection databases) along with ground truth boundaries between 459 semantic classes including both foreground objects and different types of background, and call it the PASCAL Boundaries dataset, which will be released to the community. In addition, we propose a novel deep network-based multi-scale semantic boundary detector and name it Multi-scale Deep Semantic Boundary Detector (M-DSBD). We provide baselines using models that were trained on edge detection and show that they transfer reasonably to the task of boundary detection. Finally, we point to various important research problems that this dataset can be used for.

研究の動機と目的

• 従来のエッジ検出における曖昧性を解消するために、セマンティックインスタンスレベルの境界に焦点を当てた明確でクラスに依存しない境界検出タスクを定義する。
• 境界検出研究を支援するため、10,000枚の画像と459のセマンティッククラスを備えた大規模で高品質なデータセットを構築する。
• 既存のエッジ検出モデルを上回る性能を発揮する、マルチスケールセマンティック境界検出を目的とした新規ディープラーニングアーキテクチャM-DSBDを開発する。
• BSDS500で事前学習されたモデルを用いて強力なベースラインを提供し、公平な比較を可能にするとともに、新しいデータセットへの転移性を示す。
• 共同セマンティックセグメンテーションと境界検出、オブジェクトプロポーザル生成、隠蔽推論といった新しい研究分野を可能にする。

提案手法

• PASCAL VOC2010の10,000枚の画像から、459のセマンティッククラス（前景オブジェクトとバックグラウンドタイプ）間の境界をアノテートする。内部エッジやテクスチャエッジではなく、オブジェクトの輪郭にのみ焦点を当てる。
• 複数スケール（1、0.8、0.5）の特徴マップを処理し、学習可能な重みを用いて予測を統合するマルチスケール深層セマンティック境界検出器（M-DSBD）を提案する。
• 元の画像サイズから勾配をバックプロパゲートする境界検出損失関数（式7）を用いてモデルを訓練することで、特徴学習を向上させる。
• 複数のネットワーク層からのサイドアウトプット監視を活用するが、それらを独立した検出器として扱うのではなく、特徴抽出器として扱い、統合性能を向上させる。
• マルチスケール入力を用いてM-DSBDモデルをエンドツーエンドで訓練し、最終段階の訓練ではベースネットワークを固定し、スケール固有のサイドアウトプットおよび統合重みのみを更新する。
• 標準指標を用いて性能を比較：ODS（最適閾値F-measure）、OIS（最適交差積分F-measure）、AP（平均適合度）。

実験結果

リサーチクエスチョン

• RQ1 大規模でクラスに依存しないセマンティック境界データセットは、従来のエッジ検出データセットと比較して、エッジ検出における曖昧性を軽減できるか？
• RQ2 マルチスケール特徴統合は、単一スケールモデルと比較して、境界検出性能をどのように向上させるか？
• RQ3 エッジ検出データセット（例：BSDS500）で学習したモデルは、アノテーションの意味論が異なる新しい境界検出タスクにどの程度一般化できるか？
• RQ4 提案されたM-DSBDモデルは、新しい大規模で一貫性のある境界検出ベンチマークにおいて、最先端のエッジ検出器（例：HED、SE）と比較してどのように性能を発揮するか？
• RQ5 セマンティック境界を用いることで、オブジェクトプロポーザル生成や隠蔽推論といった後続タスクにどのような影響を与えるか？

主な発見

• PASCAL Boundariesデータセットは10,000枚の画像と459のセマンティッククラスを含み、BSDS500の20倍大きく、マルチスケールエッジの曖昧性が存在しない。
• 提案されたM-DSBDモデルはPASCAL Boundariesデータセット上でF-measure 0.652を達成し、単一スケールのDSBD（0.643）およびすべてのベースラインエッジ検出器を上回った。
• マルチスケール特徴統合により、単一スケールバージョンと比較して1%の性能向上を達成し、スケールに敏感な境界検出の利点を確認した。
• M-DSBDモデルはBSDS500へも良好に一般化し、ODS F-measure 0.751を達成した。これは、PASCAL Boundariesで学習した際のSE（0.746）およびHED（0.782）を上回った。
• 定性的な結果から、M-DSBDは高い信頼性でセマンティックインスタンス境界のみを検出し、内部エッジを抑制しているのに対し、従来のエッジ検出器とは異なり、内部エッジも検出している。
• モデルは強力な転移性を示しており、セマンティック境界からの学習が、アノテーションスタイルが異なる場合でもエッジ検出タスクへの一般化を向上させることを示唆している。