[論文レビュー] Learning Sparse High Dimensional Filters: Image Filtering, Dense CRFs and Bilateral Neural Networks

Varun Jampani, Martin Kiefel+1 more|arXiv (Cornell University)|Mar 17, 2015

Geophysical Methods and Applications参考文献 19被引用数 12

ひとこと要約

本稿では、置換格子を用いた勾配降下法により、固定されたパラメトリック形式（ガウスなど）を超えて一般化された、学習可能でスパースな高次元フィルタリングフレームワークを提案する。特徴空間におけるフィルタ重みのパrameter化とエンドツーエンド学習の可能性を活用することで、画像フィルタリング、密集型CRF、畳み込みニューラルネットワークにおける性能向上を実現し、セグメンテーションおよび分類タスクで実証的な性能向上を達成した。

ABSTRACT

Bilateral filters have wide spread use due to their edge-preserving properties. The common use case is to manually choose a parametric filter type, usually a Gaussian filter. In this paper, we will generalize the parametrization and in particular derive a gradient descent algorithm so the filter parameters can be learned from data. This derivation allows to learn high dimensional linear filters that operate in sparsely populated feature spaces. We build on the permutohedral lattice construction for efficient filtering. The ability to learn more general forms of high-dimensional filters can be used in several diverse applications. First, we demonstrate the use in applications where single filter applications are desired for runtime reasons. Further, we show how this algorithm can be used to learn the pairwise potentials in densely connected conditional random fields and apply these to different image segmentation tasks. Finally, we introduce layers of bilateral filters in CNNs and propose bilateral neural networks for the use of high-dimensional sparse data. This view provides new ways to encode model structure into network architectures. A diverse set of experiments empirically validates the usage of general forms of filters.

研究の動機と目的

• ガウスなどの固定されたパラメトリック形式を超えてバイラテラルフィルタを一般化し、データ駆動型のフィルタ学習を可能にする。
• 高次元フィルタリングの計算課題を、効率的な置換格子近似を活用することで解決する。
• フィルタリング操作を逆誤差伝搬可能にすることで、ディープネットワークにおけるエンドツーエンド学習を可能にする。
• 画像フィルタリング、密集型CRF、畳み込みニューラルネットワークなど多様な応用分野における学習可能フィルタの有効性を実証する。
• 高次元特徴空間におけるスパarsityを活用し、計算コストを削減しながらエッジの詳細を保持する。

提案手法

• スパースな特徴空間における高次元畳み込みを、置換格子構造を用いて効率的に近似する。
• 従来の格子ベースのフィルタリングにおける分離可能ガウス仮定を緩和し、フィルタ重みの自由なパrameter化を可能にする。
• 格子ベースの計算を用いて、フィルタリング操作の重みに関する微分可能勾配を導出する。
• 勾配降下法を用いてデータからフィルタ重みを学習し、下流タスクにおけるエンドツーエンド最適化を可能にする。
• 学習可能バイラテラルフィルタをCNNのレイヤーとして統合し、スパースで高次元なデータに適したバイラテラル畳み込み層（BCL）を導入する。
• 同じフレームワークを用いて密集型CRFにおけるペairワイズポテンシャルを学習し、セグメンテーション精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 バイラテラルフィルタは、ガウスなどの固定パラメトリック形式を超えて一般化可能であり、画像処理タスクの性能向上に寄与するか？
• RQ2 計算効率を維持したまま、勾配降下法を用いて高次元フィルタをエンドツーエンドで学習することが可能か？
• RQ3 スパースデータに対して、学習可能バイラテラルフィルタは、標準的な空間畳み込みと比較して、ディープニューラルネットワークで優れた性能を示すか？
• RQ4 学習可能フィルタは、画像セグメンテーションのための密結合条件付きランダムフィールドにおける推論を向上させるか？
• RQ5 高次元でスパースな特徴空間を用いることで、モデルの精度と学習効率にどのような影響を与えるか？

主な発見

• 提案手法は、文字認識タスクにおいて収束が速く、検証精度が向上し、BNN-DeepCNetは標準的なDeepCNetの82.24％に対し84.15％の検証精度を達成した。
• バイラテラルニューラルネットワーク（BNN）は、テストされたすべてのアーキテクチャで空間的同等物を上回り、BNN-LeNetはCrop-LeNetの68.67％に対し75.05％の検証精度を達成した。
• バイラテラル畳み込みの導入によりパラメータ数が削減された（例：7パラメータのバイラテラルフィルタが3×3または5×5の空間フィルタに相当）が、性能は維持または向上した。
• 密集型CRFにおける学習可能フィルタは、より複雑でデータ依存性の高いペアワイズポテンシャルをモデル化でき、セグメンテーション結果の改善に寄与した。
• スパースで高次元なフィルタ操作は、次元が高くなるに従い効率的にスケーリングされ、計算量は文字認識タスクで全点の3％にまで削減された。
• 実証的結果から、画像フィルタリング、CRF推論、ディープラーニングなど多様な応用分野で一貫した性能向上が得られ、本フレームワークの汎用性が裏付けられた。