[論文レビュー] CuDi: Curve Distillation for Efficient and Controllable Exposure Adjustment

Chongyi Li, Chunle Guo+3 more|arXiv (Cornell University)|Jul 28, 2022

Image Enhancement Techniques被引用数 6

ひとこと要約

CuDiは、ゼロリファレンスで曲線ベースの画像強調において推論を高速化するための、軽量でリアルタイムな露出補正手法を提案する。高次曲線を接線で近似し、自己教師付きの空間露出制御損失を導入することで、露出が不足または過剰な画像に対して柔軟かつ制御可能な補正を実現。モデルパラメータはわずか3Kで、4K画像の推論速度はCPUでも1秒未満を達成する。

ABSTRACT

We present Curve Distillation, CuDi, for efficient and controllable exposure adjustment without the requirement of paired or unpaired data during training. Our method inherits the zero-reference learning and curve-based framework from an effective low-light image enhancement method, Zero-DCE, with further speed up in its inference speed, reduction in its model size, and extension to controllable exposure adjustment. The improved inference speed and lightweight model are achieved through novel curve distillation that approximates the time-consuming iterative operation in the conventional curve-based framework by high-order curve's tangent line. The controllable exposure adjustment is made possible with a new self-supervised spatial exposure control loss that constrains the exposure levels of different spatial regions of the output to be close to the brightness distribution of an exposure map serving as an input condition. Different from most existing methods that can only correct either underexposed or overexposed photos, our approach corrects both underexposed and overexposed photos with a single model. Notably, our approach can additionally adjust the exposure levels of a photo globally or locally with the guidance of an input condition exposure map, which can be pre-defined or manually set in the inference stage. Through extensive experiments, we show that our method is appealing for its fast, robust, and flexible performance, outperforming state-of-the-art methods in real scenes. Project page: https://li-chongyi.github.io/CuDi_files/.

研究の動機と目的

• ペaired学習データが不要な状況下で、低照度または過剰露出の画像における効率的かつ制御可能な露出補正の課題に取り組む。
• 従来の手法が露出不足または過剰露出のいずれかの状況にしか対応できないという制限を克服する。
• 推論時に条件付き露出マップを入力として用いることで、グローバルおよびローカルな露出補正を柔軟に実現する。
• 多様な露出条件下でも高い視覚的品質を維持しつつ、リアルタイムの性能と最小限のモデルサイズを実現する。

提案手法

• Zero-DCEにおける反復的で時間がかかる高次曲線処理を、高速な接線近似に置き換えるための曲線蒸留を導入する。
• 接線の単調性保存特性を活かし、強調画像における空間的一致性を維持する。
• 出力の露出レベルを条件付き露出マップに一致させる自己教師付きの空間露出制御損失を提案する。
• グローバルまたはローカルな露出補正をガイドするため、条件付き露出マップを入力として用いる。このマップは推論時に事前に定義するか、手動で設定可能である。
• ペairedまたはアンペアードの学習データを必要としないゼロリファレンス学習フレームワークを維持する。
• わずか3Kの学習可能なパラメータを持つ軽量ネットワークを設計し、CPUおよびGPUでの高速推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 曲線蒸留により、曲線ベースの画像強調における推論速度を著しく高速化しつつ、性能を維持できるか？
• RQ2 ペaired学習データが不要な状況下でも、単一のモデルが露出不足と過剰露出の両方の画像を効果的に補正できるか？
• RQ3 条件付き露出マップを用いることで、均一な補正と空間的に変化する補正の両方を制御可能にできるか？
• RQ4 わずか3Kのパラメータを持つ軽量モデルが、高解像度画像（例：4K）においてリアルタイムの性能を達成しつつ、高い知覚的品質を維持できるか？
• RQ5 最先端の露出補正および低照度強調手法と比較して、本手法は速度、モデルサイズ、視覚的品質の面で優れているか？

主な発見

• CuDiは4K画像の推論において、CPUで0.5秒、GPUで5.4msの高速な推論速度を達成しており、[9]（CPUで16.2秒）や[13]（1200万パラメータ）といった先行手法よりも顕著に高速である。
• モデルはわずか3Kの学習可能なパラメータで構成されており、[9]（700万）や[13]（1200万）と比べて顕著な削減が達成され、高い展開性を有する。
• ユーザー評価では、25名の参加者が「Ours-auto」と「Ours-manu」を露出不足および過剰露出の両データセットで好む傾向が示され、優れた知覚的品質を示している。
• 条件付き露出マップを変更することで、単一のモデルから均一な補正と空間的に変化する補正の複数の露出レベルを生成できることを実証した。
• 視覚的結果から、露出不足および過剰露出領域の効果的な補正が可能であり、最小限のアーティファクトと自然な色再現が実現されている。
• 極端にクリッピングされた領域（例：純白または純黒）では信号の損失が不可逆的であるため失敗ケースが発生する。今後の課題として、RAWデータやインpaintingの活用が示唆される。