[論文レビュー] Automatic Photo Adjustment Using Deep Learning.

Zhicheng Yan, Hao Zhang+3 more|arXiv (Cornell University)|Dec 24, 2014

Advanced Image and Video Retrieval Techniques参考文献 24被引用数 8

ひとこと要約

本論文は、空間的に変化する、意味的感度のあるトーンおよびカラー補正をモデル化する深層学習的手法を提案する。意味的コンテンツを捉える局所的画像記述子を導入することで、従来手法よりも複雑な写真的スタイルをより正確に学習し、多様な画像タイプにおいて優れた定性的および定量的結果を達成した。

ABSTRACT

Photo retouching enables photographers to invoke dramatic visual impressions by artistically enhancing their photos through stylistic color and tone adjustments. However, it is also a time-consuming and challenging task that requires advanced skills beyond the abilities of casual photographers. Using an automated algorithm is an appealing alternative to manual work but such an algorithm faces many hurdles. Many photographic styles rely on subtle adjustments that depend on the image content and even its semantics. Further, these adjustments are often spatially varying. Because of these characteristics, existing automatic algorithms are still limited and cover only a subset of these challenges. Recently, deep machine learning has shown unique abilities to address hard problems that resisted machine algorithms for long. This motivated us to explore the use of deep learning in the context of photo editing. In this paper, we explain how to formulate the automatic photo adjustment problem in a way suitable for this approach. We also introduce an image descriptor that accounts for the local semantics of an image. Our experiments demonstrate that our deep learning formulation applied using these descriptors successfully capture sophisticated photographic styles. In particular and unlike previous techniques, it can model local adjustments that depend on the image semantics. We show on several examples that this yields results that are qualitatively and quantitatively better than previous work.

研究の動機と目的

• 基本的な強化を超える、微妙でコンテンツ依存の調整を要する洗練された写真現像の自動化という課題に対処する。
• 画像の意味的文脈に影響を受ける空間的に変化する調整をモデル化できない既存の自動アルゴリズムの限界を克服する。
• 例画像から複雑な写真的スタイルを学習可能な深層学習フレームワークを構築する。
• スタイル転送をガイドするための局所的意味的コンテンツを符号化する新しい画像記述子を導入する。
• グローバルおよびローカルのスタイル調整をモデル化することで、自動写真調整分野で最先端のパフォーマンスを達成する。

提案手法

• 畳み込みニューラルネットワークを用いて、自動写真調整問題を深層学習回帰タスクとして定式化する。
• スタイル調整をガイドするため、複数の空間スケールで意味的コンテンツを捉える局所的画像記述子を設計する。
• 入力から調整済み出力へのマッピングを学習するために、ペアド画像データ（元画像とリタッチ済み画像）上でネットワークをエンドツーエンドに訓練する。
• ネットワークの出力を局所的意味的特徴に条件づけることで、空間的に変化する変換を組み込む。
• ピxls単位の監視と特徴レベルの監視を統合した知覚的損失関数を用い、視覚的品質を保持する。
• 事前学習済みネットワークの深層特徴を用いて、画像記述子における意味的コンテンツを符号化する。

実験結果

リサーチクエスチョン

• RQ1 深層学習は、自動写真調整において、複雑で意味的インプットを伴う写真的スタイルを効果的にモデル化できるか？
• RQ2 学習された表現が、局所的意味的コンテンツをどれだけ正確に捉えられるか、空間的に変化するトーンおよびカラー補正をガイドできるか？
• RQ3 意味的文脈を組み込むことで、非意味的アプローチと比較して、自動写真リタッチの現実性と正確性がどの程度向上するか？
• RQ4 提案手法は、多様な写真的スタイルや画像コンテンツに一般化できるか？
• RQ5 定量的および定性的な観点から、既存の自動調整技術と比較して、モデルの性能はいかがなものか？

主な発見

• 提案手法は、画像の意味的文脈に依存するローカル調整を効果的にモデル化し、より自然で文脈に配慮したリタッチを可能にした。
• 結果は、特に画像コンテンツの保持や適切なスタイリスティック効果の適用において、従来の自動手法を上回る定性的優位性を示した。
• 従来のアルゴリズムが困難とされる、繊細で芸術的に洗練された調整を、モデルがより良く捉えられた。
• 意味的感度のある画像記述子を用いることで、グローバルまたは非意味的特徴のみを用いる手法と比較して、スタイル転送の正確性が著しく向上した。
• 定量的評価では、ベースライン手法と比較して、調整画像の知覚的品質が向上し、歪みが低減した。
• 本手法は、多様な画像タイプおよび写真的スタイルにわたり良好な一般化性能を示しており、強靭性と適応性の高さが裏付けられた。