[論文レビュー] Three Birds One Stone: A Unified Framework for Salient Object Segmentation, Edge Detection and Skeleton Extraction.

Qibin Hou, Jiangjiang Liu+3 more|arXiv (Cornell University)|Mar 27, 2018

Visual Attention and Saliency Detection被引用数 27

ひとこと要約

本稿では、水平にキャスケードされた密接続アーキテクチャを用いて、顕著オブジェクトセグメンテーション、エッジ検出、スケルトン抽出を統合的に実行する包括的なディーブラーニングフレームワークを提案する。タスク間で階層的な特徴統合を活用することで、3つのピクセル単位の二値分類タスクにおいて、すべてで最先端の性能を達成し、目的別モデルを上回る。

ABSTRACT

In this paper, we aim at solving pixel-wise binary problems, including salient object segmentation, skeleton extraction, and edge detection, by introducing a unified architecture. Previous works have proposed tailored methods for solving each of the three tasks independently. Here, we show that these tasks share some similarities that can be exploited for developing a unified framework. In particular, we introduce a horizontal cascade, each component of which is densely connected to the outputs of previous component. Stringing these components together allows us to effectively exploit features across different levels hierarchically to effectively address the multiple pixel-wise binary regression tasks. To assess the performance of our proposed network on these tasks, we carry out exhaustive evaluations on multiple representative datasets. Although these tasks are inherently very different, we show that our unified approach performs very well on all of them and works far better than current single-purpose state-of-the-art methods. All the code in this paper will be publicly available.

研究の動機と目的

• 顕著オブジェクトセグメンテーション、エッジ検出、スケルトン抽出のためのタスク特化型モデルの限界を解決し、それらを1つのアーキテクチャに統合すること。
• 3つのピクセル単位の二値分類タスク間で共有される構造的および文脈的特徴を活用して性能を向上させること。
• 複数レベルの特徴を段階的に統合する、キャスケード式で密接続されたネットワークを設計し、表現学習を強化すること。
• 複数のベンチマークデータセット上で統合フレームワークを評価し、単一タスクの最先端手法よりも一般化性能と優位性を検証すること。

提案手法

• フレームワークは、各コンポonentが直前のすべてのコンポーネントの出力に密接接続されている水平キャスケード構造を採用しており、豊富な特徴伝搬を可能にする。
• アーキテクチャは階層的特徴統合を用いて多段階の特徴を集約し、異なる受容 field を持つ表現学習を強化する。
• 共有バックボーンネットワークが入力画像を処理し、3つのタスクすべてに対して同時に最適化される特徴マップを生成する。
• モデルは、3つのタスクそれぞれのバイナリクロスエントロピー損失を組み合わせたマルチタスク損失関数を用いてエンドツーエンドで訓練される。
• コンポーネント間の密なスキップ接続により、効果的な勾配伝搬とキャスケード全体における特徴再利用が可能になる。
• 統合アーキテクチャにより、タスク間でのパラメータ共有が実現され、モデルの複雑さを低減しながらも高い性能を維持できる。

実験結果

リサーチクエスチョン

• RQ1 1つのディーブラーニングアーキテクチャが、顕著オブジェクトセグメンテーション、エッジ検出、スケルトン抽出という3つの異なるピクセル単位の二値分類タスクを、効果的かつ効率的に同時に処理できるか。
• RQ2 共有特徴と階層的特徴統合は、多様ではあるが関連するこれらのタスクにおいて、どの程度性能を向上させるか。
• RQ3 提案された統合フレームワークは、精度と一般化性能の観点から、最先端の目的別モデルと比べてどの程度優れているか。
• RQ4 水平キャスケードと密接続構造は、標準的な逐次的または並列アーキテクチャと比較して、より優れた特徴学習と性能をもたらすか。

主な発見

• 提案された統合フレームワークは、顕著オブジェクトセグメンテーション、エッジ検出、スケルトン抽出の3つのタスクにおいて、同時に最先端の性能を達成した。
• 評価されたすべてのデータセットで、現在の目的別最先端手法を上回り、優れた一般化性能とロバストネスを示した。
• 水平キャスケードによる階層的特徴統合により、効果的な多段階表現学習が可能になり、検出および分類の精度が向上した。
• コンポーネント間の密接続構造により、勾配伝搬と特徴再利用が改善され、収束が速くなり、性能が向上した。
• 統合アーキテクチャにより、各タスクごとの別々のモデルの必要性が低減され、複数のピクセル単位予測タスクに対してより効率的かつスケーラブルなソリューションが提供された。
• フレームワークは複数の代表的データセットで検証され、多様な画像分布にわたって有効性と一貫性が確認された。