[論文レビュー] Flexible Piecewise Curves Estimation for Photo Enhancement

Chongyi Li, Chunle Guo+3 more|arXiv (Cornell University)|Oct 26, 2020

Image Enhancement Techniques参考文献 40被引用数 9

ひとこと要約

本稿では、ピクセル単位の画像再構築ではなく、柔軟な区分的曲線を推定する軽量なディーブラーニング手法であるFlexiCurveを提案する。複数のタスクを統合したネットワークにより、節点（knots）、曲線パラメータ、空間適応型信頼度マップを予測することで、わずか150Kパラメータと83 FPSの推論速度で効率的かつ高品質な強調処理を実現し、過剰または不足な強調アーティファクトを発生させることなく、ペairedデータおよびunpairedデータの両方で最先端の結果を達成した。

ABSTRACT

This paper presents a new method, called FlexiCurve, for photo enhancement. Unlike most existing methods that perform image-to-image mapping, which requires expensive pixel-wise reconstruction, FlexiCurve takes an input image and estimates global curves to adjust the image. The adjustment curves are specially designed for performing piecewise mapping, taking nonlinear adjustment and differentiability into account. To cope with challenging and diverse illumination properties in real-world images, FlexiCurve is formulated as a multi-task framework to produce diverse estimations and the associated confidence maps. These estimations are adaptively fused to improve local enhancements of different regions. Thanks to the image-to-curve formulation, for an image with a size of 512*512*3, FlexiCurve only needs a lightweight network (150K trainable parameters) and it has a fast inference speed (83FPS on a single NVIDIA 2080Ti GPU). The proposed method improves efficiency without compromising the enhancement quality and losing details in the original image. The method is also appealing as it is not limited to paired training data, thus it can flexibly learn rich enhancement styles from unpaired data. Extensive experiments demonstrate that our method achieves state-of-the-art performance on photo enhancement quantitively and qualitatively.

研究の動機と目的

• ピクセル単位の再構築に依存する従来のディーブラーニングベースの写真強調処理手法が抱える非効率性と高メモリコストを解消すること。
• ペアドデータ手法における固定された強調スタイルの制限を克服し、unpaired学習により柔軟で多様な強調を可能にすること。
• 画像対画像翻訳の代わりに画像対曲線マッピングを採用することで、強調品質、効率性、詳細の保持のバランスを図ること。
• 空間適応型信頼度マップを用いた複数の曲線推定の融合により、局所的強調を適応的に行えるようにすること。
• アーティファクトを発生させることなく、グローバルトーン調整とローカルコントラスト強調の両方をサポートする曲線推定フレームワークを設計すること。

提案手法

• 本手法は、各色チャネルについて区分的曲線の制御点（knots）とパラメータを予測する、複数のタスクを統合した畳み込みニューラルネットワークを用いる。
• ネットワークは、複数の曲線推定を空間的に重み付けすることで、異なる強調ソリューションの適応的統合を可能にする信頼度マップを出力する。
• 曲線推定は、非線形調整を可能にしつつ微分可能で滑らかさを保つ区分的マッピング関数として定式化される。
• フレームワークはペアドおよびunpaired学習をサポートし、対応する参照画像が不要な状態でスタイルの一般化を可能にする。
• 空間適応型融合機構により、学習された信頼度マップを用いて複数の曲線予測を統合し、局所領域を効果的に強調する。
• 出力空間は制約され、解が有効な多様体上に位置し、物理的妥当性と滑らかな遷移を維持する。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の再構築ではなく区分的曲線を推定することで、軽量なネットワークが最先端の写真強調性能を達成できるか？
• RQ2 複数の曲線推定をどのように適応的に統合することで、局所的強調を向上させつつ過剰または不足な強調を回避できるか？
• RQ3 曲線ベースの手法は、ペアドトレーニングデータに依存せずに、多様な照明条件に一般化できるか？
• RQ4 空間適応型信頼度マップは、局所コントラストと詳細の保持にどの程度寄与するか？
• RQ5 本手法は、実世界および歴史的画像において、効率性、視覚的品質、耐障害性の観点からどの程度の性能を示すか？

主な発見

• FlexiCurveは、定量的指標（例：PSNR、LPIPS）および定性的な評価において、DPED、CycleGAN、EnlightenGANなどの手法を上回る最先端の性能を達成した。
• CUHK-PQデータセットにおいて、FlexiCurve-pairは好みの選定調査で25%のユーザー投票を獲得し、強い知覚的品質とユーザーの好みを示した。
• 単一のNVIDIA 2080Ti GPU上で、わずか150Kのトレーニング可能なパラメータで83 FPSの推論速度を達成し、高い効率性を示した。
• unpairedデータで学習した場合でも、FlexiCurve-unpairは12%のユーザー好みを得ており、ドメインギャップに対して強い一般化性と耐障害性を示した。
• 本手法は、古くから色あせたカラー写真の強調にも成功し、実用応用において色、明るさ、コントラストの回復を効果的に行った。
• 成功の一方で、無教師学習におけるドメインギャップの影響により、FlexiCurve-unpairはまれに色かじりを発生させることがある。また、空間補間ではすべての領域で局所不変性を保持できない場合がある。