[論文レビュー] Three Birds One Stone: A General Architecture for Salient Object Segmentation, Edge Detection and Skeleton Extraction

Qibin Hou, Jiangjiang Liu+3 more|arXiv (Cornell University)|Mar 27, 2018

Visual Attention and Saliency Detection参考文献 81被引用数 11

ひとこと要約

本論文では、密接に接続されたエンコーダーの水平カスケードを用いて、顕著オブジェクトセグメンテーション、エッジ検出、スケルトン抽出を統合する一般化されたディーブラーニングアーキテクチャ「GearNet」を提案する。CNNバックボーンからのマルチレベル特徴の段階的統合により、3つのタスクすべてで最先端の性能を達成し、ベンチマークデータセットにおいてF-measureで最大3.4%の向上を達成した。

ABSTRACT

In this paper, we aim at solving pixel-wise binary problems, including salient object segmentation, skeleton extraction, and edge detection, by introducing a unified architecture. Previous works have proposed tailored methods for solving each of the three tasks independently. Here, we show that these tasks share some similarities that can be exploited for developing a unified framework. In particular, we introduce a horizontal cascade, each component of which is densely connected to the outputs of previous component. Stringing these components together allows us to effectively exploit features across different levels hierarchically to effectively address the multiple pixel-wise binary regression tasks. To assess the performance of our proposed network on these tasks, we carry out exhaustive evaluations on multiple representative datasets. Although these tasks are inherently very different, we show that our unified approach performs very well on all of them and works far better than current single-purpose state-of-the-art methods. All the code in this paper will be publicly available.

研究の動機と目的

• 1つのピクセル単位の二値分類タスクに最適化された単一目的のCNNアーキテクチャの制限を解消すること。
• 顕著オブジェクトセグメンテーション、エッジ検出、スケルトン抽出の間の共通する構造的および特徴レベルの類似性を特定すること。
• 複数の低レベルビジョンタスクを同時に効果的に処理できる汎用アーキテクチャを設計すること。
• 提案アーキテクチャを複数の標準ベンチマークで評価し、タスク特化型最先端手法に対する汎化性能と優位性を検証すること。

提案手法

• 各エンコーダーがすべての直前のエンコーダーからの密なスキップ接続を受けることで、階層的特徴統合を可能にする水平カスケード型エンコーダーを提案する。
• CNNバックボーンからのマルチレベル特徴を統合するトランジションノードを用い、下流タスク向けの表現を段階的に精錬する。
• 異なるスケールおよび抽象化レベルでの特徴抽出と精錬を可能にする、学習可能なフィルタを備えたマルチパスサイドストリームを採用する。
• エンコーダー間の密なスキップ接続を導入することで、特徴伝搬を強化し、学習中の勾配消失を防止する。
• 同じアーキテクチャと共有コンponentsを用い、顕著オブジェクトセグメンテーション、エッジ検出、スケルトン抽出の3つの異なるタスクにそれぞれタスク固有のヘッドを適用する。
• アーキテクチャの性能に与える影響を分析するため、エンコーダー数、チャネル幅、信号伝達接続の構成に関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 1つのディーブラーニングアーキテクチャが、顕著オブジェクトセグメンテーション、エッジ検出、スケルトン抽出という根本的に異なるピクセル単位の二値分類タスクを効果的に同時に処理できるか。
• RQ2 汎用ネットワークがタスク特化型最先端手法を上回るための重要なアーキテクチャ的要素は何か。
• RQ3 水平カスケード型エンコーダーによる階層的特徴統合は、多様な低レベルビジョンタスクにおける性能向上にどのように寄与するか。
• RQ4 各タスクのパフォーマンスを最大化するための最適なエンコーダーの深さ、チャネル幅、スキップ接続構造は何か。
• RQ5 密なスキップ接続とマルチレベル特徴統合は、提案アーキテクチャのロバストネスと汎化性能にどの程度寄与しているか。

主な発見

• スケルトン抽出において、SK-LARGEデータセットで前人最高のF-measureを3.4%絶対値で上回った。
• WH-SYMMAXデータセットでは、既存手法よりもF-measureが2.1ポイント向上し、データセット間での強い汎化性能を示した。
• 顕著オブジェクトセグメンテーションにおいては、5つのベンチマークデータセット全体で平均して、前人最高手法よりもほぼ2%のパフォーマンス向上を達成した。
• アブレーションスタディの結果、2番目のエンコーダー（E₂）を削除するとF-measureが2ポイント以上低下し、スケルトン抽出における特徴精錬の観点で極めて重要な役割を果たしていることが示された。
• エンコーダー間の水平方向の信号伝達経路数を減らすと、F-measureが約2ポイント低下し、階層間特徴接続の重要性が裏付けられた。
• 本モデルは、従来手法よりも細く連続性の高いスケルトンを生成し、視覚的および定量的にも、後続アプリケーションにおいて優れた性能を示すことが確認された。