[論文レビュー] DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks

Andrey Ignatov, Nikolay Kobyshev+3 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Image Processing Techniques参考文献 25被引用数 16

ひとこと要約

本稿では、スマートフォンとデジタル一眼レフカメラ（DSLR）から同時に撮影された画像の大型データセット（DPED）を用いて学習された残差畳み込みニューラルネットワークを用いて、スマートフォンの写真をDSLR品質に向上させるエンドツーエンドのディーブラーニング手法を提案する。コンテンツ、色調、敵対的に学習されたテクスチャ損失を組み合わせることで、ユーザーの評価においてDSLR画像と区別がつかない、知覚的に優れた結果を達成した。

ABSTRACT

Despite a rapid rise in the quality of built-in smartphone cameras, their physical limitations - small sensor size, compact lenses and the lack of specific hardware, - impede them to achieve the quality results of DSLR cameras. In this work we present an end-to-end deep learning approach that bridges this gap by translating ordinary photos into DSLR-quality images. We propose learning the translation function using a residual convolutional neural network that improves both color rendition and image sharpness. Since the standard mean squared loss is not well suited for measuring perceptual image quality, we introduce a composite perceptual error function that combines content, color and texture losses. The first two losses are defined analytically, while the texture loss is learned in an adversarial fashion. We also present DPED, a large-scale dataset that consists of real photos captured from three different phones and one high-end reflex camera. Our quantitative and qualitative assessments reveal that the enhanced image quality is comparable to that of DSLR-taken photos, while the methodology is generalized to any type of digital camera.

研究の動機と目的

• ディープラーニングを用いてスマートフォンカメラとDSLRカメラの間の知覚的品質のギャップを埋めること。
• 手動で設計された特徴量に依存せずに、シャープネス、色再現、テクスチャの向上を実現するエンドツーエンドの画像強調モデルを開発すること。
• 訓練および評価用に、複数台のカメラから得られた同期された画像を含む大規模で現実世界のデータセット（DPED）を構築すること。
• 異なるスマートフォンカメラタイプにわたる強調手法の一般化を可能にすること。

提案手法

• 低品質なスマートフォン画像からDSLR品質の画像へのマッピングを学習する、残差U-Netに類似した畳み込みニューラルネットワークを訓練した。
• 解析的コンテンツ損失、色調損失、敵対的に学習されたテクスチャ損失を組み合わせた複合知覚損失関数を設計した。
• VGGベースの特徴抽出器を用いて、複数の層でコンテンツ損失および色調損失を計算し、知覚的忠実度を向上させた。
• 同期されたスマートフォンとDSLRカメラからのペア画像を用いて、モデルをエンドツーエンドで訓練した。
• 2段階の訓練戦略を採用：まずMSE損失で事前学習を行い、その後複合知覚損失でファインチューニングした。
• 敵対的アプローチにより、ディスクライマー・ネットワークを用いて現実的な高周波数のテクスチャディーテイルを学習した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、スマートフォンの写真をDSLR画像と同等の知覚的品質に効果的に向上させることができるか？
• RQ2 画像対画像変換のディープラーニングフレームワークにおいて、知覚的画像品質を効果的に測定・最適化する方法は何か？
• RQ3 同じモデルが、異なる画像品質特性を示す複数のスマートフォンカメラにどの程度一般化可能か？
• RQ4 コンテンツ、色調、テクスチャの成分を組み合わせた複合損失関数は、標準的なMSEベースの訓練に比べて、写真強調の分野で優れた性能を発揮するか？

主な発見

• ユーザーの評価において、提案手法はDSLR画像と同等の知覚的品質を達成しており、参加者が強調画像とDSLRオリジナル画像を確実に区別できなかった。
• ユーザーの評価では、ペア比較において85–95％の割合で強調画像がオリジナルのスマートフォン写真よりも好まれ、DSLR画像と同等の選択頻度を示した。
• 比較手法の中で最高のSSIMスコアを達成しており、参照となるDSLR画像との構造的類似度が強いことを示した。
• ユーザーの好みの評価において、手動での調整処理やAPEベースラインを上回り、60％のユーザーがプロフェッショナルに調整された写真よりも当該手法で強調された画像を選んだ。
• 低価格帯のデバイス（例：iPhone 3GS）を含む、さまざまなスマートフォンカメラに対しても一般化を示した。
• 改善が見られたものの、特に低品質な入力画像では、色のずれ、ノイズの過剰増幅、コントラストの誇張といったアーティファクトが観察された。