[論文レビュー] Efficient and Explicit Modelling of Image Hierarchies for Image Restoration

Yawei Li, Yuchen Fan+5 more|arXiv (Cornell University)|Mar 1, 2023

Advanced Image Processing Techniques被引用数 18

ひとこと要約

本論文は anchored stripe self-attention および GRL アーキテクチャを導入し、画像復元のためにグローバル、地域、局所の階層を明示的にモデル化し、7つのタスクで最先端の結果を達成する。

ABSTRACT

The aim of this paper is to propose a mechanism to efficiently and explicitly model image hierarchies in the global, regional, and local range for image restoration. To achieve that, we start by analyzing two important properties of natural images including cross-scale similarity and anisotropic image features. Inspired by that, we propose the anchored stripe self-attention which achieves a good balance between the space and time complexity of self-attention and the modelling capacity beyond the regional range. Then we propose a new network architecture dubbed GRL to explicitly model image hierarchies in the Global, Regional, and Local range via anchored stripe self-attention, window self-attention, and channel attention enhanced convolution. Finally, the proposed network is applied to 7 image restoration types, covering both real and synthetic settings. The proposed method sets the new state-of-the-art for several of those. Code will be available at https://github.com/ofsoundof/GRL-Image-Restoration.git.

研究の動機と目的

• グローバルレンジ機能を高次元画像の復元で効率的にモデル化する動機付け。
• 単一の計算モジュールでグローバル、地域、および局所の依存関係を明示的にモデリングする。
• 容量とコストのバランスを取るスケーラブルなアテンション機構を提案する。
• 実データと合成設定の七つの復元タスクにこのアーキテクチャを適用する。

提案手法

• アンカーと非等方ストライプ局在化により full self-attention を近似する anchored stripe self-attention を導入する。
• Anchored stripe self-attention の式 (M_d, M_e) を開発し、M アンカーで複雑さを O(NMd) に低減する。
• GRL ネットワークを提案し、 anchored stripe self-attention、window self-attention、チャンネルアテンション強化畳み込みを並列に組み合わせてグローバル、地域、局所のモデリングを行う。
• 並列のアテンションと畳み込みブランチを統合するトランスフォーマー層を含む表現学習モジュールを実装する。
• GRL を super-resolution、denoising、JPEG アーティファクト除去、demosaicking、real-image SR、motion deblurring、defocus deblurring の七つの画像復元タスクで訓練・評価する。
• アテンション機構における低ランク性および類似性伝播との関連を議論する。

Figure 2 : The proposed GRL achieves state-of-the-art performances on various image restoration tasks. Details provided in Sec. 5 .

実験結果

リサーチクエスチョン

• RQ1 高次元の復元タスクでグローバルレンジ画像特徴を効率的にモデル化するにはどうすればよいか。
• RQ2 単一の計算モジュールでグローバル、地域、および局所の階層を明示的にモデリングできるか。
• RQ3 階層を共同でモデリングすると、複数の復元タスクで一様に性能が向上するか。

主な発見

• GRL は複数の画像復元タスクで最先端の結果を達成（七つのタスクを探索）。
• Anchored stripe self-attention は時間計算量と空間計算量を削減しつつ、地域の窓を超えたグローバル依存関係を捉える。
• GRL-B（ベースモデル）は Restormer と比べてパラメータを 24% 節約しつつ高い性能を達成。
• GRL-S（小型）はさまざまなタスクで SwinIR および Restormer のベースラインと競合。
• GRL-T（極小）は、他手法のパラメータの 0.76%（あるセットで）および 2.7%（別のセットで）という非常に低いモデル複雑性にもかかわらず精度を犠牲にしない。
• GRL は実画像のデblurring、合成データのdenoising、JPEG アーティファクト除去、demosaicking の結果を複数データセットで改善。

Figure 3 : Cross-scale similarity. (c) and (d) shows the attention map between the selected pixels and the example high-resolution image. Although the cyan pixel in (a) and the red pixel in (b) are from images with different resolutions, their attention map with respect to the high-resolution image