[論文レビュー] Demoiréing of Camera-Captured Screen Images Using Deep Convolutional Neural Network

Bolin Liu, Xiao Shu+1 more|arXiv (Cornell University)|Apr 11, 2018

Image and Signal Denoising Methods参考文献 3被引用数 26

ひとこと要約

本稿では、合成データ生成と粗〜細かいアーキテクチャを活用してモアレパターンを効果的に低減する2段階の深層畳み込みニューラルネットワーク（DCNN）を提案する。この手法は、合成データ上で最大3 dBのPSNR向上および0.014のSSIM向上を達成し、2段階の訓練戦略により実世界の画像に対しても優れた一般化性能を示す。

ABSTRACT

Taking photos of optoelectronic displays is a direct and spontaneous way of transferring data and keeping records, which is widely practiced. However, due to the analog signal interference between the pixel grids of the display screen and camera sensor array, objectionable moiré (alias) patterns appear in captured screen images. As the moiré patterns are structured and highly variant, they are difficult to be completely removed without affecting the underneath latent image. In this paper, we propose an approach of deep convolutional neural network for demoiréing screen photos. The proposed DCNN consists of a coarse-scale network and a fine-scale network. In the coarse-scale network, the input image is first downsampled and then processed by stacked residual blocks to remove the moiré artifacts. After that, the fine-scale network upsamples the demoiréd low-resolution image back to the original resolution. Extensive experimental results have demonstrated that the proposed technique can efficiently remove the moiré patterns for camera acquired screen images; the new technique outperforms the existing ones.

研究の動機と目的

• 表示とセンサーのサンプリンググリッドの干渉によって生じる構造的で多様性の高いモアレアーティファクトが、カメラで撮影されたスクリーン画像の品質を低下させるという課題に対処する。
• 実際の訓練データ（モアレが付加された画像とクリアな画像のペア）を取得することが難しいため、LCDとBayer CFAの相互作用を物理モデルで表現し、現実的な合成訓練データを生成する。
• さまざまな空間周波数にわたるモアレパターンを効果的に捉えて除去できるように、粗いスケールから細かいスケールへと処理するマルチスケールDCNNアーキテクチャを開発する。
• カメラのブレや反射などの実世界の劣化要因に対しても耐性を高めるために、合成データで事前学習し、その後実画像で微調整する2段階の訓練戦略を導入する。
• DnCNN や RED-Net といった既存手法と比較して、特に色のストライプのような大規模なモアレパターンに対して優れたモアレ除去性能を示す。

提案手法

• Bayer CFAカメラとLCDのサブピクセル構造をモデル化することで、モアレパターンの物理的生成を再現し、クリアなデジタル画像から現実的なモアレ付き画像を合成する。
• 2段階のDCNNを設計：粗いスケールネットワークは入力をダウンサンプリングし、スタックされた残差ブロックを経てモアレを除去し、細かいスケールネットワークは結果を元の解像度へアップサンプリングする。
• 2段階の訓練手順を実装：まず合成データ上でジェネレータとディスクラミネータを事前学習し、次に実カメラで撮影された画像と1段階目の出力を用いてジェネレータを微調整する。
• 生成対抗ネットワーク（GAN）フレームワークを採用し、ディスクラミネータを導入して視覚的品質を向上させる。生成器とディスクラミネータを交互に学習し、k=1、Adam最適化法を用い、学習率は10⁻⁵とする。
• 事前学習段階で細かいスケールネットワークをbicubicアップサンプリングで訓練し、スケール間での有効な特徴抽出を保証するための受容 field マッチング戦略を採用する。
• 粗いスケールおよび細かいスケールの両方のネットワークに残差ブロックを採用し、訓練の安定化とモアレ除去時の画像ディテールの保持を実現する。

実験結果

リサーチクエスチョン

• RQ1 ペアでない実世界データが入手できない状況下でも、深層学習ベースのアプローチが複雑で構造的なモアレパターンを効果的に除去できるか？
• RQ2 1スケールのネットワークと比較して、粗〜細かいマルチスケールDCNNアーキテクチャは、モアレ除去性能をどのように向上させるか？
• RQ3 モアレ形成の物理モデルに基づいて生成された合成訓練データは、実世界のカメラで撮影された画像にどの程度一般化可能か？
• RQ4 合成データで事前学習し、その後実画像で微調整する2段階の訓練戦略は、実世界の画像に対する耐性および性能を顕著に向上させるか？
• RQ5 PSNR、SSIM、視覚的品質の観点から、本手法はDnCNN や RED-Net といった最先端の画像修復ネットワークと比較して、定量的・定性的にどの程度優れているか？

主な発見

• 合成された粗いスケールの画像において、本手法は41.59 dBのPSNRおよび0.9934のSSIMを達成し、DnCNN35（38.84 dBのPSNR、0.9858のSSIM）を2.7 dB以上上回り、SSIMでも0.0076の差をつける。
• 高解像度の合成データでは、本手法は40.01 dBのPSNRおよび0.9829のSSIMを達成し、DnCNN35（37.46 dBのPSNR、0.9678のSSIM）およびRED36（37.80 dBのPSNR、0.9717のSSIM）を顕著に上回る。
• 実カメラで撮影された画像に対する視覚的結果から、本手法は色のストライプのような大規模なモアレパターンを効果的に除去している一方、DnCNN や RED-Net はそのアーティファクトを抑制できない。
• 2段階の訓練戦略により、合成データで主に学習されたにもかかわらず、実世界の画像に良好に一般化できることを実証しており、実画像テストセットでも高い性能を示している。
• 推論速度は競合手法と比較して競争力があり、GPUのタイミング測定結果から、ベースラインネットワークと比較して最小限の計算オーバーヘッドに抑えられている。
• 人間の観察者による評価では、特に微細なディテールの保持や色のアーティファクトの低減において、本手法がよりクリアで自然な結果を生成することが一貫して評価されている。