[論文レビュー] Exposure: A White-Box Photo Post-Processing Framework

Yuanming Hu, Hao He+3 more|arXiv (Cornell University)|Sep 27, 2017

Advanced Image and Video Retrieval Techniques参考文献 48被引用数 53

ひとこと要約

本論文は Exposure を提示します。白箱のエンドツーエンドの写真後処理システムで、ペアなしデータで学習され、加工済み画像と人間が理解できる編集の連続を提供します。

ABSTRACT

Retouching can significantly elevate the visual appeal of photos, but many casual photographers lack the expertise to do this well. To address this problem, previous works have proposed automatic retouching systems based on supervised learning from paired training images acquired before and after manual editing. As it is difficult for users to acquire paired images that reflect their retouching preferences, we present in this paper a deep learning approach that is instead trained on unpaired data, namely a set of photographs that exhibits a retouching style the user likes, which is much easier to collect. Our system is formulated using deep convolutional neural networks that learn to apply different retouching operations on an input image. Network training with respect to various types of edits is enabled by modeling these retouching operations in a unified manner as resolution-independent differentiable filters. To apply the filters in a proper sequence and with suitable parameters, we employ a deep reinforcement learning approach that learns to make decisions on what action to take next, given the current state of the image. In contrast to many deep learning systems, ours provides users with an understandable solution in the form of conventional retouching edits, rather than just a "black-box" result. Through quantitative comparisons and user studies, we show that this technique generates retouching results consistent with the provided photo set.

研究の動機と目的

• ペア付き retouching データを収集する困難さを、ユーザーのスタイルを反映したペアなしの写真コレクションから学習することで解決する。
• 複数の編集を差分可能なフィルターのシーケンスとして適用するエンドツーエンドの後処理モデルを提供する。
• ブラックボックスの結果ではなく、有意義な操作シーケンスを出力することで透明性を提供する。
• 解像度非依存のフィルターを通じて高解像度画像との互換性を確保する。
• GAN ベースのスタイルモデルと強化学習を通じて個人のレタッチ傾向の学習を可能にする。

提案手法

• 状態を中間画像、行動を差分可能なフィルターとする逐次意思決定プロセスとしてレタッチを定式化する。
• 編集を高解像度 RAW データに適用可能な解像度非依存の差分可能なフィルターとしてモデル化する。
• 離散的なフィルター選択と選択したフィルターの連続パラメータ調整の二重方針ネットワークを使用する。
• ディスクリミネータベースの画像品質報酬に導かれたポリシー勾配（アクター-クリティック）で訓練する。
• ペアデータを必要とせず、生成された編集をターゲット写真コレクションに合わせるようにワッサンストン GAN を組み込む。
• 勾配ベースの学習を可能にする微分可能なピースワイズリニア形式でカラー曲線を表現する。

実験結果

リサーチクエスチョン

• RQ1 ペアなしの写真コレクションを使用して、画像ペアなしでユーザーのレタッチスタイルを学習できるか？
• RQ2 差分可能で人間が理解できるフィルターのシーケンスは、プロのレタッチスタイルを模倣できるか？
• RQ3 強化学習と GAN の識別器を組み合わせることで、RAW 入力に対して高品質でスタイル一貫性のある編集を提供できるか？
• RQ4 得られた編集シーケンスは、解像度の高い画像へ拡張しても、ユーザーにとって解釈可能かつ可逆的か？

主な発見

• システムはペアデータなしでターゲット写真コレクションに一致する方法で RAW 画像のレタッチを学習する。
• 編集は黒箱の結果ではなく、従来の理解可能な操作の連として出力される。
• フレームワークは高解像度画像（例：RAW から表示用出力）へ適用可能な解像度非依存のフィルター連を出力する。
• ユーザースタディと定量的比較は、提供された写真コレクションの好みのスタイルとレタッチ結果が一致することを示す。
• 差分可能なフィルター、強化学習、GAN を組み合わせたエンドツーエンドモデルは、画像ペアなしで妥当なスタイル転送を達成する。