[論文レビュー] AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time Image Enhancement

Canqian Yang, Meiguang Jin+3 more|arXiv (Cornell University)|Apr 29, 2022

Image Enhancement Techniques被引用数 6

ひとこと要約

AdaIntは、画像のリアルタイム強調処理における3次元ルックアップテーブル（3D LUT）のための学習可能で適応的なサンプリング戦略を提案する。画像の内容に基づいて動的に非一様なサンプリング間隔を調整することで、従来の均一サンプリングの限界を克服する。異なる可微分なAiLUT-Transform演算子を導入し、エンド・トゥ・エンドの学習を可能にし、ベンチマークデータセット上で最小限の計算オーバーヘッドで最先端の性能を達成した。

ABSTRACT

The 3D Lookup Table (3D LUT) is a highly-efficient tool for real-time image enhancement tasks, which models a non-linear 3D color transform by sparsely sampling it into a discretized 3D lattice. Previous works have made efforts to learn image-adaptive output color values of LUTs for flexible enhancement but neglect the importance of sampling strategy. They adopt a sub-optimal uniform sampling point allocation, limiting the expressiveness of the learned LUTs since the (tri-)linear interpolation between uniform sampling points in the LUT transform might fail to model local non-linearities of the color transform. Focusing on this problem, we present AdaInt (Adaptive Intervals Learning), a novel mechanism to achieve a more flexible sampling point allocation by adaptively learning the non-uniform sampling intervals in the 3D color space. In this way, a 3D LUT can increase its capability by conducting dense sampling in color ranges requiring highly non-linear transforms and sparse sampling for near-linear transforms. The proposed AdaInt could be implemented as a compact and efficient plug-and-play module for a 3D LUT-based method. To enable the end-to-end learning of AdaInt, we design a novel differentiable operator called AiLUT-Transform (Adaptive Interval LUT Transform) to locate input colors in the non-uniform 3D LUT and provide gradients to the sampling intervals. Experiments demonstrate that methods equipped with AdaInt can achieve state-of-the-art performance on two public benchmark datasets with a negligible overhead increase. Our source code is available at https://github.com/ImCharlesY/AdaInt.

研究の動機と目的

• 3D LUTにおける均一サンプリングの性能が不十分である問題に対処し、局所的な非線形性のモデル化を制限する要因を解消すること。
• 画像固有の色変換の複雑さに応じて、学習可能な非一様なサンプリング間隔を用いることで、3D LUTの表現力の向上を図ること。
• 可微分で効率的なルックアップ機構を提供することで、適応的3D LUTのエンド・トゥ・エンド学習を可能にすること。
• 知的なサンプリング点の割り当てによりモデルの能力を高めつつも、高い推論効率を維持すること。
• 既存の3D LUTベースの画像強調処理フレームワークに即座に統合可能なプラグアンドプレイモジュールを提供すること。

提案手法

• 3D LUTの非一様なサンプリング座標と出力色値を同時に予測するニューラルネットワークモジュールAdaIntを提案する。
• 非一様な3次元LUTのルックアップにおいて勾配伝搬を可能にする、低コストのバイナリサーチと三線形補間を用いた可微分なAiLUT-Transform演算子を導入する。
• ダウンサンプルされた入力画像から、サンプリング間隔と出力値の両方を予測する軽量なCNNを用いる。
• 推論時、各色チャネルでバイナリサーチを実行し、非一様に配置された格子セル内に入力色が位置する場所を特定する。
• 非一様な格子構造に対してバックプロパゲーションを可能にする、可微分なサンプリング戦略を採用する。
• ルックアッププロセスを可微分化することで、適応的間隔を有する3D LUTのエンド・トゥ・エンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 3D LUTにおける非一様なサンプリング間隔の学習は、画像強調処理における複雑な非線形色変換のモデル化を向上させることができるか？
• RQ2 非一様3次元LUTを介したバックプロパゲーションをサポートする、可微分なルックアップ機構をどのように設計できるか？
• RQ3 適応的サンプリングは、均一サンプリングと比較して、最小限の計算コストでより優れた性能を達成できるか？
• RQ4 AdaIntは、既存の3D LUTベースの画像強調処理フレームワークに効果的にプラグアンドプレイとして統合できるか？
• RQ5 適応的サンプリング戦略は、色変換における異なる画像コンテンツや局所的な非線形性にどのように反応するか？

主な発見

• AdaIntはFiveKおよびPPR10Kベンチマークで最先端の性能を達成し、PSNR、SSIM、ΔEabの指標において、既存の3D LUTベースの手法を上回った。
• すべてのデータセットにおいて3D-LUTベースラインを上回り、計算オーバーヘッドの増加はほとんどなかった。
• PPR10Kデータセットでは、人間中心の指標（HC）においても競争力のある結果を示し、優れた視覚的品質を示した。
• 定性的な結果から、過露出、色の彩度、テクスチャの保持の面で、ベースラインと比較して優れた処理がなされていることが明らかになった。
• 累積誤差ヒストограмを可視化した結果、学習されたサンプリング間隔が、色変換の高曲率領域に集中して配置されていることが確認された。
• 高い推論速度を維持しており、リアルタイム応用における実用性が裏付けられた。