[論文レビュー] A low-complexity method for efficient depth-guided image deblurring

Ziyao Yi, Diego Valsesia+2 more|arXiv (Cornell University)|Jan 7, 2026

Image Enhancement Techniques被引用数 0

ひとこと要約

EDIBNet は深度情報を用いたデブリ・ブラーをエッジデバイス上で実現する、深さガイド付きアダプタを備えたコンパクトな波形領域エンコーダ–デコーダを導入し、FLOPs、実行時間、メモリを2桁減少させつつ競合品質を達成します。

ABSTRACT

Image deblurring is a challenging problem in imaging due to its highly ill-posed nature. Deep learning models have shown great success in tackling this problem but the quest for the best image quality has brought their computational complexity up, making them impractical on anything but powerful servers. Meanwhile, recent works have shown that mobile Lidars can provide complementary information in the form of depth maps that enhance deblurring quality. In this paper, we introduce a novel low-complexity neural network for depth-guided image deblurring. We show that the use of the wavelet transform to separate structural details and reduce spatial redundancy as well as efficient feature conditioning on the depth information are essential ingredients in developing a low-complexity model. Experimental results show competitive image quality against recent state-of-the-art models while reducing complexity by up to two orders of magnitude.

研究の動機と目的

• モバイル LiDAR 深度マップからの深度ガイドでエッジ親和性の高い画像デブラーを動機付ける。
• 波形ドメインで動作する低複雑度のエンコーダ–デコーダアーキテクチャを開発する。
• 軽量アダプタを通じて深度情報を統合し、構造認識を伴う復元を改善する。
• FLOPs、実行時間、メモリを大幅に削減しつつ競争力のある画像品質を維持する。

提案手法

• 画像を2レベルの Haar DWT で分解し、計算を低減するために低周波成分 LL(2) および関連サブバンドのみを処理する。
• 軽量なエンコーダ–デコーダのバックボーンで LL(2)、LH(2)、HL(2)、HH(2) を処理し、残差ブロックとスキップ接続を用いる。
• ガイド付きフィルタの統計の二分岐近似を使い、デコーダ機能を変調する効率的な深度アダプタを介して深度情報を注入する。
• 深度特徴を画像特徴と連結、軽量の畳み込み、チャネル注意を通じて統合し、深度特徴を後続段階へ伝播させる。
• 高周波サブバンドを逆変換へスキップして計算を節約しつつ品質を維持する。

Figure 1 : Proposed EDIBNet architecture. An efficient encoder-decoder neural network operates in the low-frequency wavelet sub-bands. Efficient adapters are added on each level of the decoder part to modulate image features with depth features.

実験結果

リサーチクエスチョン

• RQ1 モバイル LiDAR からの深度ガイダンスを用いた低複雑度の波形領域ネットワークは競争力のあるデブラー品質を達成できるか。
• RQ2 波形レベル、波形基底、深度アダプタが性能と効率に与える影響はどのようか。
• RQ3 EDIBNet はエッジデバイス上で FLOPs、実行時間、メモリを最小化しつつ、PSNR/SSIM において最先端モデルと比較してどうか。

主な発見

Model	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	Parameters (M)	FLOPs (G)	Runtime (s)	Memory (MB)
Restormer	34.52	0.9318	0.2596	26.1	4083	46.56	32456
Depth-Restormer	36.62	0.9446	0.2223	30.0	8786	55.84	41304
NAFNet	37.24	0.9430	0.2474	17.1	673	4.54	4216
Depth-NAFNet	37.28	0.9434	0.2433	23.7	1388	7.28	11260
EDIBNet (w/o depth & adapter)	34.59	0.9667	0.3093	1.45	15	0.12	280
EDIBNet (channel=16)	34.73	0.9673	0.3117	2.84	44	0.20	358
EDIBNet (channel=32)	35.10	0.9681	0.2971	11.3	178	0.40	816

• 提案手法の EDIBNet は、最先端モデルと比較して FLOPs、実行時間、メモリを1桁のオーダーで削減しつつ PSNR/SSIM で競争力を示す。
• 軽量アダプタを介して実世界の深度情報を取り入れると、実行時間の増加を最小に抑えつつ PSNR が約0.14 dB 改善される。
• 2レベルの小波分解は、1レベルおよび3レベル構成の中で最良の精度–効率のバランスを提供する。
• Haar ウェーブレットは rbio1.1 および bior1.1 基底と同程度の性能を示し、Haar が最も実装しやすい。
• ここで設計された深度アダプタは、他のアダプタを上回りつつパラメータ数と FLOPs を削減する。

Figure 2 : Architecture of the proposed efficient Adapter. The module takes as input both image features and depth features. Each input is first normalized and passed through lightweight bias adjustment layers. The features are then concatenated and processed through a chunking and spatial condition