[論文レビュー] Moire Image Restoration using Multi Level Hyper Vision Net

D. Sabari Nathan, M. Parisa Beham+1 more|arXiv (Cornell University)|Apr 18, 2020

Image and Signal Denoising Methods参考文献 23被引用数 7

ひとこと要約

本稿では、階層的特徴を複数スケールにわたり自己適応的に統合することで、モアレノイズによって劣化した画像を復元するためのマルチレベルハイパーウィジョンネットを提案する。本手法はNTIRE 2020チャレンジデータセットにおいてPSNR 36.85、SSIM 0.98を達成し、モアレノイズの動的で色が変化する性質にもかかわらず、最先端の性能を示している。

ABSTRACT

A moire pattern in the images is resulting from high frequency patterns captured by the image sensor (colour filter array) that appear after demosaicing. These Moire patterns would appear in natural images of scenes with high frequency content. The Moire pattern can also vary intensely due to a minimal change in the camera direction/positioning. Thus the Moire pattern depreciates the quality of photographs. An important issue in demoireing pattern is that the Moireing patterns have dynamic structure with varying colors and forms. These challenges makes the demoireing more difficult than many other image restoration tasks. Inspired by these challenges in demoireing, a multilevel hyper vision net is proposed to remove the Moire pattern to improve the quality of the images. As a key aspect, in this network we involved residual channel attention block that can be used to extract and adaptively fuse hierarchical features from all the layers efficiently. The proposed algorithms has been tested with the NTIRE 2020 challenge dataset and thus achieved 36.85 and 0.98 Peak to Signal Noise Ratio (PSNR) and Structural Similarity (SSIM) Index respectively.

研究の動機と目的

• センサーサンプリングとデモザイシングによって引き起こされる高周波数の自然画像における動的で色が変化するモアレノイズの問題に対処すること。
• カメラのわずかな再配置によって顕著に変化するモアレアーティファクトによって劣化した画像の質を向上させること。
• 従来の復元手法よりも、複雑で非一様な構造を有するモアレノイズをより効果的に処理できる深層学習フレームワークを開発すること。
• 残留チャネル注目メカニズムを用いて、複数レベルの特徴を自己適応的に統合し、復元の忠実度を向上させること。

提案手法

• 提案されたマルチレベルハイパーウィジョンネットは、異なるスケールで複数の特徴抽出および最適化ステージを備えた深層畳み込みニューラルネットワークアーキテクチャを採用している。
• 各レベルに残留チャネル注目ブロックを統合し、チャネルごとの重要度に基づいて特徴マップを動的に再キャリブレーションする。
• すべてのネットワークレベルからの階層的特徴を、学習可能な注目メカニズムを用いて効率的に統合し、表現学習を強化する。
• 構造的およびテクスチャ的詳細を保持するために、知覚的損失関数とピxls単位の損失関数を用いてエンドツーエンドで訓練する。
• 本アーキテクチャは、色や形状の変化を伴うモアレノイズの動的で多様な性質に対応できるように設計されている。
• 本モデルは、多様な現実世界のモアレ影響画像を含むNTIRE 2020チャレンジデータセットで評価されている。

実験結果

リサーチクエスチョン

• RQ1 カメラの位置によって顕著に変化し、複雑な色および構造的変動を示すモアレノイズを、深層学習モデルが効果的に復元できるか？
• RQ2 複数のネットワークレベルからの階層的特徴をどのように自己適応的に統合することで、モアレノイズの抑制と画像品質の向上を達成できるか？
• RQ3 残留チャネル注目を組み込むことで、標準的な畳み込みネットワークと比較して、高周波数のモアレアーティファクトの復元がどの程度向上するか？
• RQ4 提案されたマルチレベルアーキテクチャは、多様なパターンとノイズレベルを有する現実世界のモアレ影響画像に十分に一般化できるか？

主な発見

• 提案手法はNTIRE 2020チャレンジデータセットにおいてPSNR 36.85を達成し、高い復元精度を示している。
• モデルはSSIMスコア0.98を達成し、復元画像における構造的類似性の強力な保持を示している。
• 残留チャネル注目ブロックの統合により、さまざまなモアレパターンにおいて特徴表現とアーティファクト抑制が顕著に向上した。
• マルチレベル特徴統合機構により、局所的およびグローバルなパターンを効果的に捉え、復元の一貫性が向上した。
• NTIRE 2020ベンチマークにおいてベースライン手法を上回り、モアレ画像復元分野における新たなSOTA結果を確立した。