[論文レビュー] Unpaired Image Enhancement Featuring Reinforcement-Learning-Controlled Image Editing Software

Satoshi Kosugi, Toshihiko Yamasaki|arXiv (Cornell University)|Dec 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 9

ひとこと要約

この論文は、アーティファクトを回避し、高解像度で解釈可能な編集を可能にする、強化学習（RL）駆動のフレームワークを提案している。Adobe Photoshop などのプロフェッショナルな画像編集ソフトウェアを用いて、非ペaired画像強調処理を実現し、微分可能でないニューラルネットワークに依存しない。ジェネレータをRLエージェントとして訓練し、ソフトウェアのパrameterを選択することで、畳み込みニューラルネットワーク（CNN）に依存しない状態で、写真強調処理および顔の美顔化において最先端の性能を達成した。

ABSTRACT

This paper tackles unpaired image enhancement, a task of learning a mapping function which transforms input images into enhanced images in the absence of input-output image pairs. Our method is based on generative adversarial networks (GANs), but instead of simply generating images with a neural network, we enhance images utilizing image editing software such as Adobe Photoshop for the following three benefits: enhanced images have no artifacts, the same enhancement can be applied to larger images, and the enhancement is interpretable. To incorporate image editing software into a GAN, we propose a reinforcement learning framework where the generator works as the agent that selects the software's parameters and is rewarded when it fools the discriminator. Our framework can use high-quality non-differentiable filters present in image editing software, which enables image enhancement with high performance. We apply the proposed method to two unpaired image enhancement tasks: photo enhancement and face beautification. Our experimental results demonstrate that the proposed method achieves better performance, compared to the performances of the state-of-the-art methods based on unpaired learning.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）ベースの非ペア画像強調処理における限界、すなわちアーティファクト、低解像度、解釈不能性を是正すること。
• バックプロパゲーションで微分不能な、トレーニング不能なプロフェッショナルな画像編集フィルタを用いて、高品質な画像強調処理を可能にすること。
• 実世界の画像編集ソフトウェアを GAN ベースの強調パイプラインに統合するトレーニングフレームワークを構築すること。
• 特に写真強調処理および顔の美顔化において、スケーラブルで解釈可能かつ高忠実度の非ペア設定での画像強調処理を達成すること。
• 強化学習で制御されるソフトウェア編集が、定量的および定性的な評価において、エンドツーエンドのディープラーニング手法を上回ることを示すこと。

提案手法

• ジェネレータは、Adobe Photoshop の Face-Aware Liquify などのソフトウェアの画像編集フィルタのパrameterを選択する RL エージェントとして機能する。
• ディスクリミネータは強調処理済み画像を評価し、ジェネレータがディスクリミネータをだませる能力に基づいて報酬信号を提供する。
• フレームワークはポリシー・ネットワークを用いてフィルタパrameterを出力し、ディスクリミネータの「本物」との信頼度を最大化するように強化学習で訓練する。
• 画像編集フィルタは微分不能だが高品質であり、アーティファクトなしの強調処理とスケールインvariant処理を可能にする。
• 本手法は2つのタスクに適用された：Cityscapes データセットを用いた写真強調処理と、SCUT-FBP5500 データセットを用いた顔の美顔化。
• トレーニングでは、背景領域をマスクし、キーポイント検出を用いて顔の構造を正確に一致させることで、顔の構造に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 非微分可能でプロフェッショナルな画像編集ソフトウェアを制御するために強化学習を効果的に用いることができるか？
• RQ2 Photoshop などのソフトウェアから得られる高忠実度で非微分可能なフィルタを用いることで、エンドツーエンドのCNNベースの手法よりも優れた画像品質が得られるか？
• RQ3 RLで制御される編集フレームワークは、非ペア設定において高解像度でアーティファクトなし、かつ解釈可能な画像強調処理を達成できるか？
• RQ4 RL-ソフトウェアハイブリッド手法の性能は、CycleGAN や ResGAN などの最先端の非ペア画像変換モデルと比べてどの程度優れているか？
• RQ5 ユーザーは、本手法が生成する強調処理結果を、既存の手法と比較してどの程度認識し、好むか？

主な発見

• 本手法は、写真強調処理で平均4.5/5、顔の美顔化で4.6/5という高いユーザー評価を得ており、既存手法と比較して優れた知覚的品質を示した。
• 定性的な結果から、本手法は自然でアーティファクトのない強調処理を実現した一方、CycleGAN や ResGAN は特に目や顔の輪郭周辺に顕著なアーティファクトを生成した。
• 本手法は、2000px以上の高解像度画像に対しても同じ強調パイプラインを適用でき、Photoshop のベクトルベースのフィルタの使用によりスケールインvariantであることが実証された。
• RLエージェントは、目の大きさ、鼻の幅、あごの輪郭といった幾何的顔特徴を、顔のアイデンティティを歪めることなく魅力的に変更する能力を学習した。
• ユーザー研究の結果、本手法は自然さと全体的な好みの両面で、すべてのベースライン手法を上回ることが確認された。
• フレームワークは、ユーザーが強調処理に使用されたフィルタパrameterを理解し、手動で調整できる解釈可能な編集を可能にした。