[論文レビュー] Self-Adaptively Learning to Demoire from Focused and Defocused Image Pairs

Lin Liu, Shanxin Yuan+4 more|arXiv (Cornell University)|Nov 3, 2020

Advanced Image Processing Techniques参考文献 48被引用数 4

ひとこと要約

本稿では、焦点が合ったモアレ影響を受ける画像と、それに対応するぼやけたモアレなしぼやけ画像を入力として用い、テスト時学習を自己適応的に行うデモアレ化手法を提案する。この手法は、反復的かつ共同最適化されたU-Netに類似したネットワークと、3層の全結合ブラー核予測器を用い、明示的な学習を必要とせず、合成データおよび実世界データの両方で最先端の手法を上回る性能を発揮する。また、テクスチャ由来のモアレパターンを含む、新たなベンチマークも提供する。

ABSTRACT

Moire artifacts are common in digital photography, resulting from the interference between high-frequency scene content and the color filter array of the camera. Existing deep learning-based demoireing methods trained on large scale datasets are limited in handling various complex moire patterns, and mainly focus on demoireing of photos taken of digital displays. Moreover, obtaining moire-free ground-truth in natural scenes is difficult but needed for training. In this paper, we propose a self-adaptive learning method for demoireing a high-frequency image, with the help of an additional defocused moire-free blur image. Given an image degraded with moire artifacts and a moire-free blur image, our network predicts a moire-free clean image and a blur kernel with a self-adaptive strategy that does not require an explicit training stage, instead performing test-time adaptation. Our model has two sub-networks and works iteratively. During each iteration, one sub-network takes the moire image as input, removing moire patterns and restoring image details, and the other sub-network estimates the blur kernel from the blur image. The two sub-networks are jointly optimized. Extensive experiments demonstrate that our method outperforms state-of-the-art methods and can produce high-quality demoired results. It can generalize well to the task of removing moire artifacts caused by display screens. In addition, we build a new moire dataset, including images with screen and texture moire artifacts. As far as we know, this is the first dataset with real texture moire patterns.

研究の動機と目的

• 自然画像およびデジタルディスプレイからの複雑で変動しやすいモアレパターンを除去する課題に取り組むこと。特に、多様で高品質な訓練データが不足しているため、教師あり手法が困難である点を解決する。
• テスト時適応中に、ぼやけたモアレなし画像をガイドとして用いることで、明示的な学習を必要とせず効果的なデモアレ化を実現すること。
• デジタルスクリーンおよび高周波数テクスチャから生じる実世界のモアレパターンを含む、初めてのベンチマークデータセットを構築すること。
• 既存のキャプチャパイプラインを変更せずに、標準的なデジタルカメラやスマートフォンに適用可能な、ハードウェアに依存しない手法を開発すること。

提案手法

• 本手法は、二重サブネットアーキテクチャを採用する。一つは画像デモアレ化用（U-Netに類似したエンコーダ・デコーダ）、もう一つはブラー核推定用（3層全結合ネットワーク）であり、テスト時に反復的に最適化される。
• デモアレ化ネットワークは、焦点が合ったモアレ画像を入力とし、反復的精錬によってクリアでモアレなしの画像を予測する。
• ブラー核推定ネットワークは、ぼやけたモアレなし画像を用いて、空間的に変化するブラー核を予測し、ローパスフィルタ効果をモデル化する。
• 二つのネットワークは、事前学習重みなしで、反復的かつ自己適応的に共同最適化され、未観測のモアレパターンに対しても適応可能である。
• ぼやけた画像はソフトウェアまたはハードウェアによるぼかしによって生成され、モアレアーティファクトを除去しながら構造的詳細を保持するローパスフィルタを模倣する。
• 本手法は、ブラー核が回復プロセスをガイドする共同フィルタリング問題としてデモアレ化を扱い、忠実性および詳細回復の両面で性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 自己適応的でテスト時学習可能なアプローチが、大規模データセットへの明示的学習を要せず、複雑なモアレパターンを効果的に除去できるか？
• RQ2 ぼやけたモアレなし画像が、焦点が合ったモアレ影響を受ける画像からクリアな画像を回復するための信頼できるガイドとして機能できるか？
• RQ3 本手法は、特に実世界の状況において、スクリーン由来およびテクスチャ由来のモアレパターンの両方に対して、どのように一般化するか？
• RQ4 画像回復とブラー核推定の共同最適化が、既存の教師ありおよび教師なしデモアレ化手法を上回る性能を発揮できるか？

主な発見

• 提案手法FDNetは、公開データセット（TIP2018、LCDMoire）および新たに導入されたRealScreenMoireおよびRealTextureMoireデータセットの両方で、最先端の性能を達成した。
• 高周波数テクスチャ由来のモアレパターンを含むRealTextureMoireデータセットでは、スクリーン固有のデータで学習されたMopNetやSVLRMといった教師あり手法を顕著に上回った。
• 定量的評価では、合成データおよび実世界テストセットの両方で、FDNetが競合手法よりも高いPSNRおよびSSIMを達成しており、優れた回復品質と詳細保持能力を示している。
• 視覚的比較では、FDNetがモアレパターンを効果的に除去しながらも、DIP や DoubleDIP といった手法が残存アーティファクトを残すか、詳細を過剰に平滑化するのとは対照的に、明瞭なテクスチャを維持していることが確認された。
• スクリーン由来のモアレパターンに対しても、FDNetはSynScreenMoireおよびSynTextureMoireベンチマークにおいて、非教師ありおよび教師ありベースラインをすべて上回った。
• アブレーションスタディにより、画像回復とブラー核推定の共同最適化が性能に不可欠であることが確認され、各モジュールを削除したアブレーションバージョンでは顕著な性能低下が観察された。