[論文レビュー] Learning Affinity via Spatial Propagation Networks

Sifei Liu, Shalini De Mello+4 more|arXiv (Cornell University)|Oct 3, 2017

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 26

ひとこと要約

本論文は、深層畳み込みニューラルネットワーク（CNN）を用いて空間的に変化する線形変換をモデル化することで、視覚タスクのための密な類似度行列を学習する微分可能でデータ駆動型のフレームワーク、Spatial Propagation Networks（SPN）を提案する。この手法はPASCAL VOCで密なCRFベースの最適化を上回り、ResNet-101を用いた際の平均IoUは79.76、テストスプリットでは80.22を達成し、境界の微調整性能とベースモデルの一般化性能に優れていることが示された。

ABSTRACT

In this paper, we propose spatial propagation networks for learning the affinity matrix for vision tasks. We show that by constructing a row/column linear propagation model, the spatially varying transformation matrix exactly constitutes an affinity matrix that models dense, global pairwise relationships of an image. Specifically, we develop a three-way connection for the linear propagation model, which (a) formulates a sparse transformation matrix, where all elements can be the output from a deep CNN, but (b) results in a dense affinity matrix that effectively models any task-specific pairwise similarity matrix. Instead of designing the similarity kernels according to image features of two points, we can directly output all the similarities in a purely data-driven manner. The spatial propagation network is a generic framework that can be applied to many affinity-related tasks, including but not limited to image matting, segmentation and colorization, to name a few. Essentially, the model can learn semantically-aware affinity values for high-level vision tasks due to the powerful learning capability of the deep neural network classifier. We validate the framework on the task of refinement for image segmentation boundaries. Experiments on the HELEN face parsing and PASCAL VOC-2012 semantic segmentation tasks show that the spatial propagation network provides a general, effective and efficient solution for generating high-quality segmentation results.

研究の動機と目的

• 視覚タスクにおける高レベルの意味的関係をモデル化するための手作業で設計された類似度カーネルの限界を解決すること。
• 反復的最適化や事前定義された指標を回避し、データから直接類似度行列を学習する汎用的でエンドツーエンドで訓練可能なフレームワークの開発。
• 微分可能な空間的伝播メカニズムを通じて、タスク固有の意味的意識を持つ類似度行列を学習することで、セグメンテーション境界の品質を向上させること。
• 後処理モジュール（例：密なCRF）に代わる学習可能で効率的な代替手段を提供し、さまざまなベースセグメンテーションモデルに一般化可能にすること。

提案手法

• 線形伝播モデルに三重接続構造を用い、完全結合を回避するため、深層CNNのスパarsity出力から密な類似度行列を生成する。
• 深層CNNが空間的に変化する変換行列のパラメータを予測し、その後、線形伝播によって密な類似度行列を計算する。
• 空間的伝播モジュールは、ピクセル数に線形に比例する時間計算量を持つ再帰的線形変換を特徴とし、効率的な推論を可能にする。
• すべてのモジュールが微分可能であり、確率的勾配降下法を用いて共同で訓練され、類似度行列は最終タスク損失によって直接監視される。
• 任意のセグメンテーションモデルに統合可能であり、予測された類似度行列を用いて粗い予測を精緻化する。
• VGGおよびResNetの階層的特徴を入力として活用することで、類似度学習における高レベルの意味的理解を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能でデータ駆動型の類似度行列は、セマンティックセグメンテーションにおいて手作業で設計された類似度カーネルを上回ることができるか？
• RQ2 空間的に変化する線形伝播メカニズムは、画像内のグローバルで密なペairワイズ関係を効果的にモデル化可能か？
• RQ3 提案されたフレームワークは、ファインチューニングなしにさまざまなベースセグメンテーションモデルに一般化可能か？
• RQ4 三重接続構造は、完全結合出力と比較して、パラメータの複雑さをどのように低減しつつ性能を維持するか？
• RQ5 SPNベースの精緻化は、ベンチマークデータセットにおいて精度と効率の両面で密なCRFを上回るか？

主な発見

• 三重接続SPNは、Deeplab ResNet-101ベースモデルを用いたPASCAL VOC-2012テストセットで平均IoU 79.76を達成し、密なCRFベースライン（79.7）を上回った。
• 同じテストスプリットにおいて、SPNで精緻化されたモデルは平均IoU 80.22に達し、ベースモデルおよびCRFベースの精緻化と比較して一貫した向上を示した。
• SPNはベースのDeeplab ResNet-101モデルと比較して、平均正解率を3.33ポイント向上させ、86.09の平均ACを達成した（精緻化なしでは84.16）。
• 三重接続構造は、一重接続バージョンよりも一般化性能に優れており、複雑なセグメンテーションマップの精緻化に失敗する一重接続とは対照的に、複雑なデータ分布を効果的に捉える能力を示した。
• SPNは、拡張畳み込みに基づくモデルの性能を顕著に向上させ、特に「Front end」モデルに追加することで平均IoUが5.52ポイント向上（69.75 → 75.28）した。
• 可視化結果から、SPNは特に物体の詳細部やエッジ領域で、より鋭い境界とより良い意味的整合性を生成することが確認され、図4の赤枠で示された領域で顕著に顕在した。