[論文レビュー] MetaISP -- Exploiting Global Scene Structure for Accurate Multi-Device Color Rendition

Matheus Albino Souza, Wolfgang Heidrich|arXiv (Cornell University)|Jan 1, 2023

Image Enhancement Techniques被引用数 1

ひとこと要約

MetaISP は、デバイス固有の埋め込み、クロス共分散アテンションによるグローバルなシーン意味、メタデータの条件付けを用いて、1台のスマートフォンのRAW画像を、複数のターゲットデバイスの色調とコントラスト特性を模倣するRGB出力に変換する軽量なディーブラーニングモデルである。PSNR、SSIM、∆E∗ab76 において最先端の性能を達成し、未学習のデバイスに対してもゼロショット推論を可能にしている。

ABSTRACT

Image signal processors (ISPs) are historically grown legacy software systems for reconstructing color images from noisy raw sensor measurements. Each smartphone manufacturer has developed its ISPs with its own characteristic heuristics for improving the color rendition, for example, skin tones and other visually essential colors. The recent interest in replacing the historically grown ISP systems with deep-learned pipelines to match DSLR's image quality improves structural features in the image. However, these works ignore the superior color processing based on semantic scene analysis that distinguishes mobile phone ISPs from DSLRs. Here, we present MetaISP, a single model designed to learn how to translate between the color and local contrast characteristics of different devices. MetaISP takes the RAW image from device A as input and translates it to RGB images that inherit the appearance characteristics of devices A, B, and C. We achieve this result by employing a lightweight deep learning technique that conditions its output appearance based on the device of interest. In this approach, we leverage novel attention mechanisms inspired by cross-covariance to learn global scene semantics. Additionally, we use the metadata that typically accompanies RAW images and estimate scene illuminants when they are unavailable.

研究の動機と目的

• ディープラーニングベースのISPにおける正確でマルチデバイス対応のカラーレンダリングの欠如に対処し、デバイス固有の視覚的スタイルをモデル化すること。
• 従来の手法がグローバルなシーン意味やスマートフォンISPにおける意味的注意を伴うカラープロセッシングを無視するという限界を克服すること。
• 再トレーニングなしに複数のスマートフォンデバイス間で外観一貫性のある出力を生成できる単一のモデルを開発すること。
• メタデータと学習済みのデバイス埋め込みのみを用いて、未学習のデバイスへのゼロショットカラートランスレーションを可能にすること。
• ホワイトバランス推定と露出/ISOの条件付けを統合することで、カラーアクキュラシーと知覚的品質を向上させること。

提案手法

• MetaISP は、RAW入力とデバイス埋め込みを入力として、デバイス固有のカラーデータを生成する条件付きディーブラーニングアーキテクチャを採用している。
• 画像パッチ間のグローバルなシーン意味をモデル化するための新規なクロス共分散アテンション機構を導入している。
• 事前学習済みの統計を用いて多様なシーンからの特徴を正規化するグローバル意味ブランチを組み込み、モデルのロバスト性を向上させている。
• デバイス埋め込みから導出されるクエリベクトルを用いて、ネットワーク内のアテンションマップを変調することで、デバイス固有の外観を条件付けている。
• ホワイトバランス、ISO、露出などのメタデータを活用してカラーやコントラストの調整をガイドしており、欠落した光源の推定に軽量なサブネットワークを用いている。
• 3台のスマートフォンのペアドRAW-sRGBデータ上でエンドツーエンドにトレーニングされ、デバイススタイル間の補間が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 1つのディーブラーニングモデルが、複数のスマートフォンISPの特徴的な色調とコントラスト特性を正確に再現できるか？
• RQ2 ローカルなパッチレベル処理を超えて、色再現性を向上させるために、グローバルなシーン意味を効果的にモデル化できるか？
• RQ3 再トレーニングなしに、埋め込みを用いてデバイス固有の視覚的スタイルを分離・条件付けできる範囲はどの程度か？
• RQ4 メタデータと学習済みのデバイス表現のみを用いて、微調整なしに未学習のデバイスに一般化できるか？
• RQ5 ホワイトバランスと露出メタデータを統合することで、情報が欠落している場合でもカラーアクキュラシーがどの程度向上するか？

主な発見

• MetaISP は、iPhone XR で30.14 dB、Pixel 6 Pro で25.49 dB、Samsung S22 で24.26 dB のPSNRを達成し、先行手法を上回る最先端の性能を示した。
• iPhone XR では色差（ΔE∗ab76）を3.76に、Pixel 6 Pro では6.65に、S22 では7.33にまで低減し、高い知覚的正確性を示した。
• アブレーションスタディでは、グローバル意味ブランチ（C）が、iPhone XR でPSNRを1.94 dB向上させ、ΔE∗ab76 を2.97ポイント低減した。
• アテンション機構（D）は顕著な貢献を示し、iPhone XR でPSNRを2.21 dB向上させ、ΔE∗ab76 を0.86ポイント低減した。
• トレーニングを行わずにXiaomi C40に対してゼロショット推論を実行した結果、ネイティブISPよりも視覚的に優れた結果が得られ、色が鮮やかでコントラストが明確だった。
• ホワイトバランスメタデータが欠落している場合でも、軽量なサブネットワークにより効果的に推定でき、モデルのロバスト性を維持した。