[論文レビュー] CascadedGaze: Efficiency in Global Context Extraction for Image Restoration

Amirhosein Ghasemabadi, Muhammad Kamran Janjua+4 more|arXiv (Cornell University)|Jan 26, 2024

Image Retrieval and Classification Techniques被引用数 9

ひとこと要約

CGNetはSelf-attentionなしでグローバルな文脈を捉えるGlobal Context Extractor (GCE)を備えた完全畳み込みのエンコーダ-デコーダを導入し、denoisingとdeblurringのタスク全体で計算コストを抑えつつ最先端の結果を達成します。

ABSTRACT

Image restoration tasks traditionally rely on convolutional neural networks. However, given the local nature of the convolutional operator, they struggle to capture global information. The promise of attention mechanisms in Transformers is to circumvent this problem, but it comes at the cost of intensive computational overhead. Many recent studies in image restoration have focused on solving the challenge of balancing performance and computational cost via Transformer variants. In this paper, we present CascadedGaze Network (CGNet), an encoder-decoder architecture that employs Global Context Extractor (GCE), a novel and efficient way to capture global information for image restoration. The GCE module leverages small kernels across convolutional layers to learn global dependencies, without requiring self-attention. Extensive experimental results show that our computationally efficient approach performs competitively to a range of state-of-the-art methods on synthetic image denoising and single image deblurring tasks, and pushes the performance boundary further on the real image denoising task.

研究の動機と目的

• 重い self-attention オーバーヘッドなしにグローバル文脈を捉えることで、効率的な復元を動機づける。
• ローカルおよびグローバル依存関係を学習する cascaded fully convolutional module (GCE) を提案。
• 復元タスクのためにローカル/グローバル特徴を統合する Range Fuser を統合。
• MACsを低く保ち、ベンチマークでdenoisingとdeblurringの推論を高速化し、最先端の性能を示す。

提案手法

• エンコーダ-デコーダーのU-Netバックボーンを備えたCascadedGaze Network (CGNet) を導入。
• self-attentionなしで局所・中間・グローバル文脈を学習する up to three small-kernel の畳み込みを用いた Global Context Extractor (GCE) を開発。
• Local/global featuresをupsampleし、結合し、Simple Channel Attention (SCA)と点畳み込みを用いて再重み付けを行う Range Fuser を使用。
• GCE前の計算負荷を削減するためのチャネルマージ（StaticMerge推奨）を組み込む。
• 実データと合成データのdenoisingデータセット（SIDD, BSD68, Urban100, Kodak24, McMaster）およびGoPro deblurringを、標準PSNR損失とSGD最適化子を用いて、複数のパッチ/サイズでエンドツーエンドに訓練。

Figure 1 : Computational Efficiency vs Performance. Left: PSNR vs. MACs (G) comparison on SIDD real image denoising. Right: PSNR vs. MACs (G) comparison on Gaussian image denoising tested on Kodak24 dataset with noise level $\sigma=50$ . Our model achieves state-of-the-art results and is computation

実験結果

リサーチクエスチョン

• RQ1 CGNetはMACsと推論時間を削減しつつ、最先端の復元手法を凌ぐことができるか？
• RQ2 GCEモジュールは復元タスクにおけるグローバル文脈の捉え方で自己注意と比べてどうか？
• RQ3 ネットワーク内のどこにGCEを配置すれば、性能と効率のトレードオフが最適になるか？
• RQ4 GCEの前でチャネルマージを行うと、計算を抑えつつ性能を維持できるか？
• RQ5 CGNetは実データ/ノイズあり、Gaussian、モーションブラーの復元タスクで堅牢か？

主な発見

• CGNetはReal image denoising (SIDD)でNAFNetに対しPSNRを0.09 dB上回る。
• Gaussian denoisingでは、CGNetは最先端または同等で、ベースラインより高速かつMACsが低く、多くのデータセットでRestormerを上回る（McMasterを除く）。
• 単一画像モーションデブラー（GoPro）では、CGNetはNAFNet系統より最大0.06 dBPSNR高い。
• 複数のデータセットでCGNetは競争力のあるまたは優れたPSNR/SSIMを、他の多くの競合と比較して大幅に低いMACsと推論時間で示す。
• 可視化は、GCEの局所文脈が前景エッジを捉え、グローバル文脈が広範な画像構造をモデル化することを示し、補完的な役割を示唆。

Figure 2(()): (a) Illustration of the overall architecture of CascadedGaze network (CGNet). Each encoder layer comprises $N_{g}\times$ CascadedGaze blocks. (b) The CascadedGaze blocks are composed of (c) GCE module and (d) Range Fuser. GCE Module has three depthwise convolutions, followed by pointwi