[論文レビュー] Image Companding and Inverse Halftoning using Deep Convolutional Neural Networks

Xianxu Hou, Guoping Qiu|arXiv (Cornell University)|Jul 1, 2017

Color Science and Applications参考文献 41被引用数 40

ひとこと要約

本論文は、深層畳み込みニューラルネットワーク（CNN）と知覚的損失を用いた深層学習フレームワークを提案し、画像コンパンドおよび逆ハーフトーン処理を実現する。CNNを非線形写像関数として訓練し、低ビット深度またはハーフトーン入力から高ビット深度または連続トーン画像を再構築する。本手法は、ベンチマークデータセットにおいてPSNRおよびSSIMの両面で、先行手法を著しく上回る最先端の性能を達成している。

ABSTRACT

In this paper, we introduce deep learning technology to tackle two traditional low-level image processing problems, companding and inverse halftoning. We make two main contributions. First, to the best knowledge of the authors, this is the first work that has successfully developed deep learning based solutions to these two traditional low-level image processing problems. This not only introduces new methods to tackle well-known image processing problems but also demonstrates the power of deep learning in solving traditional signal processing problems. Second, we have developed an effective deep learning algorithm based on insights into the properties of visual quality of images and the internal representation properties of a deep convolutional neural network (CNN). We train a deep CNN as a nonlinear transformation function to map a low bit depth image to higher bit depth or from a halftone image to a continuous tone image. We also employ another pretrained deep CNN as a feature extractor to derive visually important features to construct the objective function for the training of the mapping CNN. We present experimental results to demonstrate the effectiveness of the new deep learning based solutions.

研究の動機と目的

• 画像コンパンドおよび逆ハーフトーン処理の不適切な性質に対処し、低ビットまたは2値表現から失われた情報を回復すること。
• 従来の手動で設計された手法に比べて優れた性能を示す、深層学習に基づくソリューションを開発すること。
• 事前学習済みのCNNの異なる層から得られる知覚的損失が、再構築タスクにおける画像品質に与える影響を調査すること。
• 深層CNNが、高精細な画像を圧縮またはハーフトーン化された入力から効果的に視覚的品質と空間相関をモデル化できることを示すこと。

提案手法

• 低ビット深度またはハーフトーン画像を、高ビット深度または連続トーン画像に写像する非線形変換関数として、深層CNNを訓練する。
• 別途、事前学習済みの深層CNN（例：VGG）を特徴抽出器として用い、知覚的に重要な特徴を抽出して損失関数を構築する。
• 訓練目的は、ピクセル単位の再構築損失と、事前学習済みネットワークの途中の畳み込み層から得られる知覚的損失の両方を組み合わせる。
• 知覚的損失は、異なるネットワークの深さ（例：conv1_1、conv2_1など）で計算し、特徴層選択が画像品質に与える影響を評価する。
• オリジナル画像と圧縮／ハーフトーン化された画像のペairedデータを用いて、教師あり学習でフレームワークを訓練する。
• PSNRおよびSSIMを用いて評価し、損失層選択に関するアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 低ビット深度またはハーフトーン入力から高品質な画像を再構築するために、深層CNNをどのように効果的に活用できるか？特に目立つアーティファクトを最小限に抑える方法は？
• RQ2 画像再構築タスクにおいて、知覚的損失を構築するための最適な事前学習CNNの特徴層は何か？
• RQ3 ピクセル単位の損失と比較して、知覚的損失を用いることで、視覚的品質およびPSNRやSSIMといった定量的指標にどのような差が生じるか？
• RQ4 統合された深層学習フレームワークは、画像コンパンドと逆ハーフトーン処理の両方を効果的に処理できるか？
• RQ5 事前学習済みCNNの異なるネットワーク層が、再構築画像の知覚的品質にどの程度の影響を及ぼすか？

主な発見

• 提案手法は、逆ハーフトーン処理において、新たに最先端の結果を達成し、Koala画像ではPSNR 27.63 dB、SSIM 0.89を記録。GLDPおよびLLDOを上回った。
• Barbara画像では、PSNR 31.79 dB、SSIM 0.92を達成し、MAPおよびALFといった先行手法を著しく上回った。
• conv1_1層からの知覚的損失を用いたモデルが、全体として最も優れた結果を出した。一方、高層の損失はわずかなグリッド状アーティファクトを引き起こし、PSNRおよびSSIMを低下させた。
• カラー画像では、Peppers画像でPSNR 31.44 dB、SSIM 0.89を達成し、比較したすべての手法を上回った。
• アブレーションスタディにより、初期畳み込み層からの知覚的損失が、詳細とアーティファクト抑制の両面で優れた画像品質をもたらすことが確認された。
• フレームワークは、コンパンド画像におけるブロッキング、コントラスト、リバーブアーティファクトを効果的に低減し、ハーフトーン画像では細かいテクスチャやエッジを再構築できた。