[論文レビュー] Conditional Sequential Modulation for Efficient Global Image Retouching

Jingwen He, Yihao Liu+2 more|arXiv (Cornell University)|Sep 22, 2020

Image Enhancement Techniques参考文献 26被引用数 5

ひとこと要約

本稿では、効率的なグローバル画像リタッチのための軽量な条件付き逐次モジュレーションフレームワーク、CSRNetを提案する。ピクセルに依存しないリタッチ操作を、グローバル特徴モジュレーション（GFM）パラメータを生成する条件ネットワークによってモodulatedされた多層パーセプトロン（MLP）としてモデル化することで、MIT-Adobe FiveKベンチマークにおいて37,000パラメータ未満で最先端の性能を達成した。

ABSTRACT

Photo retouching aims at enhancing the aesthetic visual quality of images that suffer from photographic defects such as over/under exposure, poor contrast, inharmonious saturation. Practically, photo retouching can be accomplished by a series of image processing operations. In this paper, we investigate some commonly-used retouching operations and mathematically find that these pixel-independent operations can be approximated or formulated by multi-layer perceptrons (MLPs). Based on this analysis, we propose an extremely light-weight framework - Conditional Sequential Retouching Network (CSRNet) - for efficient global image retouching. CSRNet consists of a base network and a condition network. The base network acts like an MLP that processes each pixel independently and the condition network extracts the global features of the input image to generate a condition vector. To realize retouching operations, we modulate the intermediate features using Global Feature Modulation (GFM), of which the parameters are transformed by condition vector. Benefiting from the utilization of $1 imes1$ convolution, CSRNet only contains less than 37k trainable parameters, which is orders of magnitude smaller than existing learning-based methods. Extensive experiments show that our method achieves state-of-the-art performance on the benchmark MIT-Adobe FiveK dataset quantitively and qualitatively. Code is available at https://github.com/hejingwenhejingwen/CSRNet.

研究の動機と目的

• グローバルトーン調整に複雑でパラメータが多いアーキテクチャに依存する、従来の学習ベースのフォトリタッチ手法の非効率性を解消すること。
• 一般的なグローバルリタッチ操作（例：コントラスト、明るさ、トーンマッピング）を、多層パーセプトロン（MLP）によって近似可能な、学習可能でピクセル単位の変換としてモデル化すること。
• グローバルコンテキスト抽出とピクセルごとの処理を分離する、最小限でパラメータ効率の良いネットワークを設計すること。
• グローバル画像特徴から導出される条件ベクトルにより、リタッチの強さやスタイルに対するユーザー制御を可能にすること。
• 局所的特徴学習を避けるコンactなアーキテクチャで、グローバルで逐次的なリタッチが有効に学習可能であることを示すこと。

提案手法

• 1×1畳み込みのみを用いたピクセル単位処理用のベースネットワークと、グローバル画像特徴を抽出して条件ベクトルを生成する条件ネットワークからなる二本のブランチアーキテクチャを提案する。
• グローバル特徴モジュレーション（GFM）を導入し、条件ベクトルがスケーリングおよびシフト操作を用いて中間特徴をモジュレートすることで、逐次編集ステージを模倣する。
• 残留接続や密集ブロックを一切使用せず、6層のみで構成される完全畳み込み型の軽量構造を採用し、パラメータ数を最小限に抑える。
• 入力画像のグローバル統計（例：明るさ、平均強度、ヒストグラム）から得られる条件ベクトル、または小さなニューラルネットワークによって学習された条件ベクトルを用いる。
• ペアドされた人間による調整済み画像データセットを用いてエンドツーエンド学習を行い、視覚的および定量的画像品質を最適化する損失関数を採用する。
• 条件ベクトルを調整可能にすることで、リタッチの強さやスタイルを変更可能にし、インタラクティブリタッチを可能にする。

実験結果

リサーチクエスチョン

• RQ1 共通するグローバル画像リタッチ操作（例：コントラスト、明るさ、トーンマッピング）を、同じアーキテクチャだが異なるパラメータを持つ多層パーセプトロン（MLP）で効果的に近似できるか？
• RQ2 局所的畳み込み演算や複雑なモジュールに依存せずに、グローバル画像リタッチを実行できる軽量なニューラルネットワークをどのように設計できるか？
• RQ3 パラメータ数を最小限に抑えつつ、動的でスタイル特化型のリタッチを可能にするために、ベースネットワークをどのように条件づけるのが最適か？
• RQ4 グローバルプライオリティ（例：明るさ、強度、ヒストグラム）を用いる場合と、学習された条件ネットワークを用いる場合とを比較した場合、性能と効率にどのような差が出るか？
• RQ5 コンパクトなアーキテクチャで、エンドツーエンドに学習可能な逐次的・モジュール型のリタッチアプローチが、最先端の性能を達成または上回ることが可能か？

主な発見

• CSRNetは、36,489パラメータというわずかな数でMIT-Adobe FiveKデータセットにおいて最先端の性能を達成し、PSNRが23.69に達した。HDRNet や White-Box と比較して優れた性能を示した。
• ベースネットワークに1×1畳み込みと3層のみを用いたモデルでもPSNRが23.69に達し、より深くまたは大きなカーネルを使用してもほとんど利得がないことが示された。
• グローバル特徴モジュレーション（GFM）は、SFTNet や AdaIN と比較して顕著に優れた性能を示した。SFTNet は空間的に変化するモジュレーションに依存しているため、PSNRが20.73にとどまり、劣っていた。
• ヒストグラムをグローバルプライオリティとして用いることで最高の性能（PSNR 22.90）を達成し、次に平均強度（21.93）、明るさ（21.47）の順に性能が低下した。これは、豊富なグローバル統計情報の重要性を示している。
• 学習された条件ネットワークと手作業で作成されたプライオリティ（例：32次元の条件ベクトル + 768次元のヒストグラム）を組み合わせることでPSNRが23.39に向上したが、学習された条件ネットワークのみを用いた完全なCSRNetが最も高い性能（23.69 PSNR）を達成した。
• アブレーションスタディにより、ベースネットワーク単体では性能が著しく低く（PSNR 20.47）、条件ネットワークが効果的なリタッチに不可欠であることが確認された。