[論文レビュー] Unfolding Taylor's Approximations for Image Restoration

Man Zhou, Zeyu Xiao+4 more|arXiv (Cornell University)|Sep 8, 2021

Image and Signal Denoising Methods参考文献 58被引用数 9

ひとこと要約

本論文は、画像復元をテイラー展開の展開として再定式化する、画期的なディープテイラー近似フレームワークを提案する。このフレームワークは、高レベルの文脈的理解（主項）と局所的な詳細回復（微分項）を分離することで、画像の雨消し・ぼかし除去において性能と解釈可能性を向上させる。2段階のネットワーク構造に分離することで、従来のCNNとは直交するアプローチを採り、最新の性能向上を実現するプラグイン型の拡張が可能となる。

ABSTRACT

Deep learning provides a new avenue for image restoration, which demands a delicate balance between fine-grained details and high-level contextualized information during recovering the latent clear image. In practice, however, existing methods empirically construct encapsulated end-to-end mapping networks without deepening into the rationality, and neglect the intrinsic prior knowledge of restoration task. To solve the above problems, inspired by Taylor's Approximations, we unfold Taylor's Formula to construct a novel framework for image restoration. We find the main part and the derivative part of Taylor's Approximations take the same effect as the two competing goals of high-level contextualized information and spatial details of image restoration respectively. Specifically, our framework consists of two steps, correspondingly responsible for the mapping and derivative functions. The former first learns the high-level contextualized information and the later combines it with the degraded input to progressively recover local high-order spatial details. Our proposed framework is orthogonal to existing methods and thus can be easily integrated with them for further improvement, and extensive experiments demonstrate the effectiveness and scalability of our proposed framework.

研究の動機と目的

• 画像復元のためのエンドツーエンドディープラーニングモデルにおける解釈不能性と合理的設計の欠如を是正すること。
• 数学的に根拠を持つ、高レベルの文脈的情報と微細な空間的詳細の両者を原理的かつ整合的にバランスさせること。
• 既存のCNNベースの復元モデルとシームレスに統合可能なモジュラで直交的なフレームワークを開発すること。
• 画像復元アーキテクチャの理解と設計のための新たな理論的視点（テイラー近似）を提供すること。

提案手法

• フレームワークは画像復元を2段階に分解する：高レベルの文脈的特徴を学習するマッピング関数と、局所的な高次空間的詳細を回復する微分関数。
• テイラー展開の主項はグローバルな文脈学習に対応し、微分項は局所的な詳細の精緻化をモデル化する。
• 微分関数は劣化した入力と文脈的特徴を組み合わせ、高次近似を通じて段階的に細部を回復する。
• 従来のネットワークと直交するように設計されており、任意のCNNベースの復元モデルにプラグインモジュールとして統合可能である。
• フレームワークは変数次数の近似（例：3次から6次）をサポートし、速度と精度の間で制御可能なトレードオフを可能にする。
• 微分関数は異なる次数間でパラメータを共有しており、トレーニングの簡素化と同時に柔軟性を維持している。

実験結果

リサーチクエスチョン

• RQ1 テイラー近似は、画像復元プロセスを原理的かつ解釈可能な形で分解できるか？
• RQ2 グローバルな文脈学習と局所的詳細回復を別々の段階に分離することで、復元性能とモデルの解釈可能性が向上するか？
• RQ3 提案されたフレームワークは、雨消し・ぼかし除去といった異なる画像復元タスクに一般化可能か？
• RQ4 既存のCNNベースのモデルとシームレスに統合可能で、アーキテクチャの大幅な見直しを伴わずに性能向上が達成できるか？

主な発見

• 標準ベンチマーク上での評価において、すべてのベースラインモデルが本フレームワークを統合することで、一貫した性能向上を達成した。
• 3次近似が性能と複雑さのバランスを最も良く捉えており、アブレーションや比較の最適なベースラインとして機能した。
• Rain800およびGoProデータセットにおける可視化結果から、高次近似によりテクスチャ回復が明確に向上し、アーチファクトが著しく減少した。
• フレームワークはスケーラブルであり、多様なアーキテクチャにわたり性能向上が確認されたことから、直交性と一般化能力が裏付けられた。
• アブレーションスタディの結果、微分関数による局所的詳細の精緻化が極めて重要であることが確認され、高次項が微細な復元を顕著に向上させた。