[論文レビュー] Fast End-to-End Trainable Guided Filter

Huikai Wu, Shuai Zheng+2 more|arXiv (Cornell University)|Mar 15, 2018

Image Enhancement Techniques参考文献 56被引用数 10

ひとこと要約

本論文では、完全畳み込みネットワーク（FCNs）のための効率的な同時アップサンプリングを向上させる、学習可能でエンド・ツー・エンドで訓練可能なガイド付きフィルタリング層を提案する。ガイド付きフィルタを微分可能モジュールに再定式化し、学習可能なパラメータとトレーニング可能なガイドマップを備えることで、画像リトゥーチング、除霧、深度推定、セマンティックセグメンテーションの分野で最先端の性能を達成するとともに、従来手法と比較して10–100倍高速に動作する。

ABSTRACT

Dense pixel-wise image prediction has been advanced by harnessing the capabilities of Fully Convolutional Networks (FCNs). One central issue of FCNs is the limited capacity to handle joint upsampling. To address the problem, we present a novel building block for FCNs, namely guided filtering layer, which is designed for efficiently generating a high-resolution output given the corresponding low-resolution one and a high-resolution guidance map. Such a layer contains learnable parameters, which can be integrated with FCNs and jointly optimized through end-to-end training. To further take advantage of end-to-end training, we plug in a trainable transformation function for generating the task-specific guidance map. Based on the proposed layer, we present a general framework for pixel-wise image prediction, named deep guided filtering network (DGF). The proposed network is evaluated on five image processing tasks. Experiments on MIT-Adobe FiveK Dataset demonstrate that DGF runs 10-100 times faster and achieves the state-of-the-art performance. We also show that DGF helps to improve the performance of multiple computer vision tasks.

研究の動機と目的

• 高解像度の密度的な予測タスクにおける標準的なFCNの同時アップサンプリング能力の制限を解決すること。
• エンド・ツー・エンドのトレーニングに適した、完全に微分可能で学習可能なガイド付きフィルタリング層を構築すること。
• タスク固有のガイドマップ生成を可能にするトレーニング可能な変換関数を導入し、多様なビジョンタスクにおける性能向上を図ること。
• 予測品質を維持または向上させながら、計算コストとメモリ使用量を大幅に削減すること。
• 複数の画像処理およびコンピュータ ビジョンタスクにわたる汎用性と優位性を実証すること。

提案手法

• ドリルドおよびポイントワイド畳み込みを用いた可学習カーネルを備えた計算グラフとして、元のガイド付きフィルタを再定式化し、バックプロパゲーションを可能にする。
• 低解像度特徴からタスク固有のガイドマップを生成するトレーニング可能な変換関数を導入する。
• FCNに微分可能ブロックとしてガイド付きフィルタリング層を統合し、本体ネットワークと共同最適化を可能にする。
• 粗いから細かいパイプラインを適用：入力をダウンサンプリングし、低解像度で処理した後、学習済みパラメータを用いたガイド付きフィルタでアップサンプリングする。
• 高解像度での正例ラベルによる教師あり学習を標準的手法で適用し、すべてのパラメータをエンド・ツー・エンドで最適化する。
• サリエンシー検出に2番目のガイド付きフィルタリング層を適用し、さらなる性能向上を図る。

Figure 2: Computation Graph of Guided Filtering Layer. Guided filtering layer takes low-resolution image $I_{l}$ , high-resolution image $I_{h}$ and low-resolution output $O_{l}$ as inputs, generating the high-resolution output $O_{h}$ . Compared to guided filter [ 25 ] , the proposed layer is refor

実験結果

リサーチクエスチョン

• RQ1 ガイド付きフィルタを、深層ネットワークにおけるエンド・ツー・エンド学習に適合する完全に微分可能で学習可能なレイヤーに再定式化できるか？
• RQ2 学習可能なガイドマップ生成関数を導入することで、多様なピクセル単位の予測タスクにおける性能が向上するか？
• RQ3 提案されたガイド付きフィルタリングレイヤーは、正確性を維持または向上させながら、計算コストとメモリ使用量を削減できるか？
• RQ4 DenseCRFのような従来の後処理手法と比較して、本手法は速度と性能の両面で優れているか？
• RQ5 本フレームワークは、さまざまな画像処理およびコンピュータ ビジョンタスクにどの程度汎用的に適用可能か？

主な発見

• 提案されたディープガイド付きフィルタリングネットワーク（DGF）は、画像リトゥーチング、非局所的除霧、深度推定を含む5つの画像処理タスクで最先端の性能を達成した。
• MIT-Adobe FiveK データセットでは、DGFはベースライン手法と比較して10–100倍高速に動作しながら、SOTA結果を達成した。
• 深度推定において、RMS誤差はベースラインの6.081から5.887に低下し、0.194の改善を達成した。
• サリエンシー検出において、Fβはベースラインの90.61％から91.75％に向上し、セグメンテーション性能でDenseCRF（91.87％ Fβ）を上回り、10倍高速であった。
• セマンティックセグメンテーションにおいて、DGFは平均IOU 73.58％を達成し、ベースライン（71.79％）と比較して1.79％の向上を示した。
• 512²の画像を平均34msで処理できたのに対し、DenseCRFは432msを要したため、12.7倍の高速化が確認された。

Figure 3: Framework Overview of Deep Guided Filtering Network. Given the input image $I_{h}$ , we first downsample it to obtain $I_{l}$ . The corresponding low-resolution output $O_{l}$ is then generated by the FCN $C_{l}(I_{l})$ . Finally, $I_{l}$ , $I_{h}$ and $O_{l}$ are fed into guided filtering