[論文レビュー] Superpixel Segmentation with Fully Convolutional Networks

Fengting Yang, Qian Sun+2 more|arXiv (Cornell University)|Mar 29, 2020

Advanced Vision and Imaging参考文献 46被引用数 16

ひとこと要約

本稿では、正規の画像グリッド上でスーパープixelsの関連性を予測することで、深層ニューラルネットワークへの効率的な統合を可能にする、完全畳み込みネットワーク（FCN）を提案する。ステレオマッチングにおけるダウンサンプリングおよびアップサンプリングに学習されたスーパープixelsの関連性を用いることで、物体境界を保持し、ベンチマークデータセット上で最先端の性能を達成するとともに、50fpsの推論速度と向上した視差推定精度を実現する。

ABSTRACT

In computer vision, superpixels have been widely used as an effective way to reduce the number of image primitives for subsequent processing. But only a few attempts have been made to incorporate them into deep neural networks. One main reason is that the standard convolution operation is defined on regular grids and becomes inefficient when applied to superpixels. Inspired by an initialization strategy commonly adopted by traditional superpixel algorithms, we present a novel method that employs a simple fully convolutional network to predict superpixels on a regular image grid. Experimental results on benchmark datasets show that our method achieves state-of-the-art superpixel segmentation performance while running at about 50fps. Based on the predicted superpixels, we further develop a downsampling/upsampling scheme for deep networks with the goal of generating high-resolution outputs for dense prediction tasks. Specifically, we modify a popular network architecture for stereo matching to simultaneously predict superpixels and disparities. We show that improved disparity estimation accuracy can be obtained on public datasets.

研究の動機と目的

• 不規則なスーパープixelsグリッドでは従来の畳み込みが非効率であるため、スーパープixelsを深層ニューラルネットワークに統合する課題に対処すること。
• スーパープixelsセグメンテーションとステレオマッチングなどの下流タスクをエンドツーエンドで学習可能にする手法を開発すること。
• 双方向補間の代わりにスーパープixelsベースのアップサンプリングを用いることで、高解像度の密予測タスクにおける細部や物体境界を保持すること。
• 固定されたスーパープixels初期化よりも、スーパープixelsとタスク固有の出力を共同で学習することで性能が向上することを示すこと。

提案手法

• 本手法は、画像ピクセルと正規グリッドセル間の関連スコアを予測することでスーパープixelsセグメンテーションを定式化し、エンドツーエンド学習が可能な完全畳み込みネットワーク（FCN）を用いる。
• 従来のスーパープixelsアルゴリズム（例：SLIC）で一般的に用いられる初期化戦略を活用して、スーパープixelsを正規グリッドセルにマッピングし、標準的な畳み込み操作を可能にする。
• スーパープixels関連行列Qを学習することで、微分可能な方法でダウンサンプリング（各スーパープixelsごとの特徴集約）およびアップサンプリング（予測値をピクセルにブロードキャスト）を実行する。
• ステレオマッチングネットワーク（例：PSMNet）における標準的なストライド2の畳み込みおよび双方向補間を、スーパープixelsベースの操作に置き換えることで、空間的詳細を保持する。
• スーパープixelsセグメンテーションと下流タスク（視差推定）を同時に学習することで、相互最適化を可能にする。
• トレーニング中にスーパープixelsのコンパクト性と均一性を正則化するため、m=30またはm=60の修正SLIC損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 正規グリッド上で完全畳み込みネットワークが、最先端のセグメンテーション精度を維持したまま、スーパープixels関連性を効果的に学習できるか？
• RQ2 標準的な双方向補間をスーパープixelsベースのアップサンプリングに置き換えることで、ステレオマッチングにおける高解像度視差推定が向上するか？
• RQ3 スーパープixelsセグメンテーションと視差予測の共同学習は、固定されたスーパープixels初期化よりも性能を向上させるか？
• RQ4 既存のスーパープixelsおよびステレオマッチング手法と比較して、本手法は速度、精度、詳細の保持の観点で優れているか？

主な発見

• 提案手法のFCNベースのスーパープixels手法は、BSDS500およびNYUv2ベンチマークで最先端の性能を達成し、推論速度は約50fpsである。
• SceneFlowデータセットでは、共同学習バージョン（Ours_joint）がエンドポイント誤差（EPE）0.93を達成し、元のPSMNet（1.04）を上回った。
• 高解像度のHR-VSデータセットでは、Ours_jointがEPEを2.77にまで低下させ、PSMNet（3.83）を顕著に上回った。特に16倍のアップサンプリング要因を考慮すると顕著である。
• Middlebury-v3では、平均誤差が7.11（PSMNetは8.78）を記録し、実世界の高解像度データに対して優れた性能を示した。
• アブレーションスタディにより、共同学習が不可欠であることが確認された。固定されたスーパープixelsを用いたOurs_fixedは、元のPSMNetを下回り、エンドツーエンド最適化の利点を示した。
• 定性的な結果では、複雑なテクスチャやエッジ領域において、ベースライン手法と比較して本手法がより優れた細部および物体境界の保持を実現していることが示された。