[論文レビュー] The Fast Bilateral Solver

Jonathan T. Barron, Ben Poole|arXiv (Cornell University)|Nov 10, 2015

Advanced Vision and Imaging被引用数 9

ひとこと要約

Fast Bilateral Solver は、エッジに配慮した平滑化において、ステレオ、深度スーパーレゾリューション、カラー化、セマンティックセグメンテーションなどのタスクで最先端の精度を達成しながら、従来の手法と比較して 10–1000× 速い、非常に効率的で微分可能な最適化フレームワークを導入する。この手法はバイナリカルスペースにおける正則化最小二乗問題として定式化されており、階層的プリコンディショニングにより高速収束を実現するとともに、深層学習パイプラインへのシームレスな統合を可能にし、順方向と逆方向の計算量が同一となる。

ABSTRACT

We present the bilateral solver, a novel algorithm for edge-aware smoothing that combines the flexibility and speed of simple filtering approaches with the accuracy of domain-specific optimization algorithms. Our technique is capable of matching or improving upon state-of-the-art results on several different computer vision tasks (stereo, depth superresolution, colorization, and semantic segmentation) while being 10-1000 times faster than competing approaches. The bilateral solver is fast, robust, straightforward to generalize to new domains, and simple to integrate into deep learning pipelines.

研究の動機と目的

• 軽量フィルタリングと高コストの最適化ベース手法の両方を凌駕する、高速で汎用的なエッジに配慮した平滑化技術の開発。
• 順方向処理と同一の計算量で逆方向処理が実現可能なため、深層学習パイプラインへの統合を可能にする。
• 深度推定、カラー化、セマンティックセグメンテーションなど、多様なコンピュータビジョンタスクへの一般化。
• セマンティックセグメンテーションのためのCNN出力の後処理における計算コストを削減しつつ、精度を損なわない。
• タスク固有の最適化を置き換える、一元的で微分可能な抽象化を提供する。

提案手法

• この手法は、解が画像領域内で滑らかであるがエッジを越えては滑らかでないという制約のもとで、正則化最小二乗最適化問題として定式化される。
• YUV色空間における空間的・ランマ・クロマ差分から導出される双確率化バイナリカル類似度行列 $\hat{W}$ を用いて、エッジに配慮した滑らかさを定義する。
• アルゴリズムは「バイナリカルスケール」で動作し、問題を階層的プリコンディショニングとマルチグリッド型初期化を用いて効率的に解ける線形系に変換する。
• 複数の入力信号を一度の線形系の解法で同時に処理できるため、バッチ処理が可能となり、高速化が実現される。
• 設計段階から微分可能であり、逆方向処理の計算量が順方向処理と同一であるため、深層ネットワークにおけるエンドツーエンド学習が可能となる。
• セマンティックセグメンテーションのような離散出力の場合は、クラス確率マップごとにチャンネル単位の平滑化を適用し、低ランク線形系の削減により滑らかにした出力を回復する。

実験結果

リサーチクエスチョン

• RQ1 1つの汎用的最適化フレームワークが、多様なコンピュータビジョンタスクにおいて最先端の性能を達成しつつ、従来の手法と比べて著しく高速化できるか？
• RQ2 エッジに配慮した平滑化をどのように微分可能かつ効率的にし、深層学習パイプラインに統合できるか？
• RQ3 バイナリカルスケールにおける線形最小二乗問題が、非線形で反復的な最適化手法を上回る精度と速度を達成できるか？
• RQ4 セマンティックセグメンテーションにおけるCRFベースの後処理を、最小限の精度損失と大きな高速化で置き換えることができるか？
• RQ5 バイナリカルソルバーは、クラス確率マップのような低ランクまたはスパースな入力信号をどのように処理するか？

主な発見

• ステレオ法の最先端手法からの入力と比較して、深度マップの誤差を 50% 減少（MAE 6.00 から 3.02、RMSE 38.8 から 17.9 に）。
• カラー化において [25] より 95× の高速化を達成し、1メガピクセルあたり 0.854 秒（対象は 80.99 秒）の処理速度を実現。
• Pascal VOC 2012 では、IOU を 66.00%（CNNオンリーでは 62.25%）に向上させ、合計実行時間を 169ms（DenseCRF を使用した場合 976ms）に短縮し、5.8× の高速化を達成。
• CRF-RNN に対しては、IOU 70.68%、合計実行時間 913ms を達成。CRF-RNN の 72.96% IOU を上回る精度を達成したが、CRF-RNN パイプラインより 3.2× の高速化を実現。
• セマンティックセグメンテーションにおいて、CRF や CRF-RNN に基づくアプローチと比較して 8–10× の高速化を達成しており、リアルタイム応用に適している。
• クラス確率のargmaxに滑らかさを明示的に制約していないにもかかわらず、フィルタリング後の出力は、元のCNN出力と比較して定性的に滑らかで、より正確である。