[論文レビュー] HERS Superpixels: Deep Affinity Learning for Hierarchical Entropy Rate Segmentation

Hankui Peng, Angelica I. Avilés-Rivero+1 more|arXiv (Cornell University)|Jun 7, 2021

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

本稿では、まず深層畳み込みニューラルネットワーク（DCNN）から得られるマルチスケール特徴量を統合して境界に注意を払ったピクセル間類似度を計算するDeep Affinity Learning（DAL）ネットワークを用い、次に階層的エントロピー率分割（HERS）を適用することで、任意の数の超ピクセルを定数時間で生成する2段階の深層学習フレームワーク、DAL-HERSを提案する。この手法は、任意の超ピクセル数に対して即時の超ピクセル生成が可能な階層的ツリー構造を活用することで、最先端の精度とリアルタイム効率を達成する。

ABSTRACT

Superpixels serve as a powerful preprocessing tool in numerous computer vision tasks. By using superpixel representation, the number of image primitives can be largely reduced by orders of magnitudes. With the rise of deep learning in recent years, a few works have attempted to feed deeply learned features / graphs into existing classical superpixel techniques. However, none of them are able to produce superpixels in near real-time, which is crucial to the applicability of superpixels in practice. In this work, we propose a two-stage graph-based framework for superpixel segmentation. In the first stage, we introduce an efficient Deep Affinity Learning (DAL) network that learns pairwise pixel affinities by aggregating multi-scale information. In the second stage, we propose a highly efficient superpixel method called Hierarchical Entropy Rate Segmentation (HERS). Using the learned affinities from the first stage, HERS builds a hierarchical tree structure that can produce any number of highly adaptive superpixels instantaneously. We demonstrate, through visual and numerical experiments, the effectiveness and efficiency of our method compared to various state-of-the-art superpixel methods.

研究の動機と目的

• オブジェクト境界を保持し、画像構造に適応するリアルタイムで深層学習ベースの超ピクセル手法の不足を補う。
• SLICなどのクラスタリングベースの手法の限界、例えば均一領域での過剰セグメンテーションやテクスチャが豊富な領域における高い計算コストを克服する。
• 効率的かつ微分可能であるグラフベースの超ピクセル手法を開発し、深層特徴との統合を可能にする。
• 階層的ツリー構造を用いて、任意の数の超ピクセルを即時に生成可能にすることで、従来の線形時間コストを有する手法の課題を解決する。
• 深層ネットワークから学習された類似度が、超ピクセルの品質と境界への適合性を顕著に向上させることを示す。

提案手法

• マルチスケール特徴量をDCNNから集約し、境界に注意を払った監視のもとで、ピクセル単位の類似度を計算するためのDeep Affinity Learning（DAL）ネットワークを提案する。
• DALネットワークは、局所的類似度とエッジの存在を反映する類似度を予測するように訓練され、セグメンテーションの精度を向上させる。
• HERSは、類似度グラフから階層的ツリーを構築し、再帰的にノードをマージすることで、分割プロセスのエントロピー率を最大化する。
• 階層的構造により、ツリーをたどることで任意の数の超ピクセルを即時に抽出でき、超ピクセル数に関係なく定数時間性能を達成する。
• HERSはエントロピー率最大化に基づくグリーディなマージ戦略を用い、超ピクセルがオブジェクト境界に密着するように保証する。
• 深層特徴学習とセグメンテーションを分離することで、エンドツーエンドの微分可能性制約なしに効率的な学習と推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、グラフベースの超ピクセルセグメンテーションに適した境界に注意を払ったピクセル単位の類似度を効果的に学習できるか？
• RQ2 HERSのような階層的グラフ分割法は、任意の数の超ピクセルに対してリアルタイムで生成が可能か？
• RQ3 学習された類似度とHERSの組み合わせにより、最先端の手法と比較して、より優れた境界適合性と構造的正確性を持つ超ピクセルが得られるか？
• RQ4 提案されたフレームワークは、屋内・屋外シーンを含む多様な画像データセットにおいても高い性能を維持できるか？
• RQ5 超ピクセル数が増加する際、HERSの計算効率は、従来の古典的手法および深層学習ベースの超ピクセル手法と比較してどうなるか？

主な発見

• HERSは、任意の超ピクセル数に対して定数時間で超ピクセルを生成する。これは、各ターゲット数ごとに再計算を要する他の手法とは対照的である。
• BSDS500データセットにおいて、提案手法は平均境界リコール（BR）85.6%、平均達成可能なセグメンテーション精度（ASA）89.2%を達成し、大多数の最先端手法を上回る。
• 均一な領域（草地、空、壁など）における過剰セグメンテーションが減少していることから、視覚的にも優れた境界適合性を示している。
• サリエンシー検出タスクにおいて、SLICの代わりにDAL-HERSを用いることで、エッジの保持が向上し、より滑らかな出力が得られることをECSSDデータセットにおける視覚的比較で確認した。
• HERSの累積実行時間は、すべての超ピクセル数において一貫して低く、超ピクセル数に比例して増加する他の手法に比べ顕著な優位性を示した。
• アブレーションスタディにより、HEDエッジマップを類似度学習に組み込むことで性能が向上し、Ours (HED) は最先端手法と競合する結果を得た。