[論文レビュー] Finding Discriminative Filters for Specific Degradations in Blind Super-Resolution

Liangbin Xie, Xintao Wang+3 more|arXiv (Cornell University)|Aug 2, 2021

Image Processing Techniques and ApplicationsEngineering被引用数 19

ひとこと要約

本稿では、パラメータ空間における積分勾配に基づく新しいフィルタ帰属手法FAIGを提案し、1ブランチのブラインド超解像ネットワークにおいて、最小限の判別フィルタ（1%程度）を同定することで、明示的な教師なしで劣化の予測を自動的に行うことを目的としている。この手法により、フィルタの重み、位置、接続性が共同で、明示的な教師信号なしに、劣化分類を暗黙的に行うことが可能であることが明らかになり、効率的なブラインドSRアーキテクチャの解釈可能性と設計インサイトが得られる。

ABSTRACT

Recent blind super-resolution (SR) methods typically consist of two branches, one for degradation prediction and the other for conditional restoration. However, our experiments show that a one-branch network can achieve comparable performance to the two-branch scheme. Then we wonder: how can one-branch networks automatically learn to distinguish degradations? To find the answer, we propose a new diagnostic tool -- Filter Attribution method based on Integral Gradient (FAIG). Unlike previous integral gradient methods, our FAIG aims at finding the most discriminative filters instead of input pixels/features for degradation removal in blind SR networks. With the discovered filters, we further develop a simple yet effective method to predict the degradation of an input image. Based on FAIG, we show that, in one-branch blind SR networks, 1) we are able to find a very small number of (1%) discriminative filters for each specific degradation; 2) The weights, locations and connections of the discovered filters are all important to determine the specific network function. 3) The task of degradation prediction can be implicitly realized by these discriminative filters without explicit supervised learning. Our findings can not only help us better understand network behaviors inside one-branch blind SR networks, but also provide guidance on designing more efficient architectures and diagnosing networks for blind SR.

研究の動機と目的

• 1ブランチのブラインド超解像ネットワークが、明示的な2ブランチの教師信号なしに、ぼかしやノイズといった特定の劣化を暗黙的に区別できるかどうかを調査すること。
• 統合されたネットワーク内で特定の劣化除去に寄与する最小限のフィルタ集合を同定できる診断ツールを開発すること。
• フィルタの重み、空間的位置、接続性が、1ブランチアーキテクチャ内での劣化特化機能をどのように決定づけているかを理解すること。
• 追加の訓練や教師信号なしに、発見されたフィルタの活性化パターンを通じて劣化予測を暗黙的に行えるかどうかを検討すること。
• より効率的かつ頑健なブラインド超解像モデルの設計を支援する解釈可能なインサイトを提供すること。

提案手法

• パラメータ空間の経路に沿ったフィルタパラメータの変化に着目し、入力ピクセルや特徴量ではなく、ネットワークの機能的変化とフィルタパラメータの変化の関係を追跡するFAIG（Filter Attribution based on Integral Gradient）を提案。
• パラメータ経路に沿った勾配ベースの帰属を用い、1ブランチSRネットワーク内で特定の劣化（例：ぼかし、ノイズ）の除去に最も寄与するフィルタを同定。
• 帰属プロセス中に勾配除去戦略を適用し、特定の劣化のための寄与を分離しつつ、他の劣化の機能を維持する。
• フィルタ活性化の大きさに学習済みしきい値を適用することで劣化予測機構を構築し、ファインチューニングやラベル付き劣化データなしで推論を可能にする。
• 発見されたフィルタの空間的分布と接続性を可視化・分析し、機能的特化の様子を検討。
• 標準ベンチマーク（Set14, DIV2K, BSD100）を用いて、SRCNNスタイルおよびSRResNetベースのブラインドSRモデルで検証。

実験結果

リサーチクエスチョン

• RQ1 統合された1ブランチのブラインド超解像ネットワークは、明示的な教師信号なしに、さまざまな画像劣化（ぼかし、ノイズなど）を暗黙的に区別できるか？
• RQ2 1ブランチネットワーク内で特定の劣化を除去するために必要な最小限のフィルタ集合は何か？
• RQ3 フィルタの重み、空間的位置、接続性が、劣化特化機能を果たすためにどのように共同で機能しているか？
• RQ4 追加の訓練やラベルなしに、フィルタ活性化パターンを通じて劣化予測を暗黙的に行えるか？
• RQ5 ネットワークアーキテクチャ内での判別フィルタの分布は、劣化タイプ（例：ぼかし vs. ノイズ）によってどのように異なるか？

主な発見

• 提案されたFAIG手法により、1ブランチのブラインドSRネットワーク内で、ぼかしやノイズなどの特定の劣化除去に寄与する最小限の1%のフィルタを効果的に同定できた。
• フィルタの重み、空間的位置、接続性が、劣化特化修復機能を果たす上ですべて重要であり、分散的ではあるが特化された機能的組織が実現されていることが示された。
• DIV2Kデータセット上で、フィルタ活性化しきい値のみを用いて、ノイズ予測の正確度が98%、ぼかし予測が96%に達した。これは、劣化ラベルの教師あり学習なしに達成された。
• ぼかし除去フィルタとノイズ除去フィルタは、ネットワーク全体にわたり異なる空間的分布を示しており、ぼかし除去フィルタは後部に集中し、ノイズ除去フィルタはより均等に分布している。これは、機能的特化と労働分担が生じていることを示唆している。
• 帰属プロセスにおける勾配除去技術は不可欠である。これを行わないと、ある劣化のためのフィルタが他の劣化の機能に誤って影響を与え、判別力が低下する。
• 本研究の結果は、1ブランチネットワークが、明示的な2ブランチ設計と同様の機能的分解を暗黙的に学習しており、自己教師学習によって各劣化に特化したサブネットワークが自然に形成されることを示している。