[論文レビュー] MERIT: Multi-domain Efficient RAW Image Translation

Wenjun Huang, Shenghao Fu+11 more|arXiv (Cornell University)|Mar 21, 2026

Image Enhancement Techniques被引用数 0

ひとこと要約

MERITは、単一のジェネレーターとドメイン埋め込みによる条件付けで、任意のカメラドメイン間へ翻訳する統一的なマルチドメイン RAW-to-RAW 翻訳モデルを提案。センサ認識ノイズモデリングとマルチスケール大カーネルアテンションを搭載。MDRAWデータセットを評価用に導入。

ABSTRACT

RAW images captured by different camera sensors exhibit substantial domain shifts due to varying spectral responses, noise characteristics, and tone behaviors, complicating their direct use in downstream computer vision tasks. Prior methods address this problem by training domain-specific RAW-to-RAW translators for each source-target pair, but such approaches do not scale to real-world scenarios involving multiple types of commercial cameras. In this work, we introduce MERIT, the first unified framework for multi-domain RAW image translation, which leverages a single model to perform translations across arbitrary camera domains. To address domain-specific noise discrepancies, we propose a sensor-aware noise modeling loss that explicitly aligns the signal-dependent noise statistics of the generated images with those of the target domain. We further enhance the generator with a conditional multi-scale large kernel attention module for improved context and sensor-aware feature modeling. To facilitate standardized evaluation, we introduce MDRAW, the first dataset tailored for multi-domain RAW image translation, comprising both paired and unpaired RAW captures from five diverse camera sensors across a wide range of scenes. Extensive experiments demonstrate that MERIT outperforms prior models in both quality (5.56 dB improvement) and scalability (80% reduction in training iterations).

研究の動機と目的

• 多くのカメラドメイン間でのスケーラブルな RAW-to-RAW 翻訳を、ワンツー万のマッピングではなく実現する。
• 単一モデルで、ソース RAW ドメインとターゲット RAW ドメイン間の任意の翻訳をドメイン-conditioningにより実現する。
• 翻訳の現実味と忠実度を高めるために、センサー固有のノイズ統計を明示的にモデリングする。
• より良い文脈理解のために、マルチスケール大カーネルアテンションモジュールをジェネレーターに追加する。
• 標準化されたマルチドメイン RAW 翻訳ベンチマーク MDRAW を提供し、性能と学習効率の向上を示す。

提案手法

• 単一のジェネレーター G が、出発ドメイン a の入力 RAW 画像 I^a を、ターゲットドメイン b のスタイル埋め込み s_b によって翻訳する。これはターゲットドメインのサンプルから抽出されるスタイルエンコーダ E によって得られる。
• センサ認識ノイズモデリング損失 L_noise は、生成されたターゲットドメイン RAW 画像と実際のターゲットドメイン RAW 画像との信号依存ノイズ統計を明示的に一致させる。
• ジェネレーター上のマルチスケール大カーネルアテンション (MS-LKA) モジュールは、異なる拡張度の並列大カーネルブランチを用いて特徴をアップサンプリングし、その後スタイル条件付きチャネルアテンションを適用する。
• パッチベースの識別器 D を用いた敵対損失により、翻訳後 RAW 画像のリアリズムを保証する。
• サイクル整合性 L1 および サイクル-SSIM 損失は内容の保持と知覚忠実度を促進し、スタイル再構成損失を組み合わせて正しいスタイル使用を強制する。
• MDRAW は、5つのカメラセンサーにわたる未整列および整列画像を含む新しいマルチドメイン RAW データセットとして導入され、マルチドメイン RAW 翻訳の評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一モデルは、任意のカメラドメイン間でスケーラブルな one-to-many / many-to-many 翻訳を実現できるか。
• RQ2 明示的なセンサ認識ノイズモデリングは、ドメイン間の RAW-to-RAW 翻訳の現実味と忠実度を向上させるか。
• RQ3 MS-LKA モジュールは、多尺度の文脈を捉え、ドメイン認識モジュレーションを可能にすることで、ドメイントランスレーションを改善するか。
• RQ4 MDRAW 上で MERIT は、複数のドメイン方向と評価指標で最先端ベースラインと比較してどの程度良好か。
• RQ5 提案された MDRAW データセットは、マルチドメイン RAW 翻訳の標準化評価に有効か。

主な発見

• MERIT は翻訳品質を優位に高め、クロスドメイン翻訳で PSNR が最大 5.56 dB 向上し、MAE が低下、MDRAW 上の従来モデルと比較して優れた性能を示した。
• MERIT はスケーラビリティが高く、ドメイン数が増加してもモデルサイズ（月約 58.7M パラメータ）と固定トレーニング条件（月約 180k イテレーション）を維持する。
• 埋め込みベースのドメイン conditioning により、単一モデルで柔軟な one-to-many および many-to-many 翻訳を実現できる。
• センサ認識ノイズモデリング (SANM) は MAE と PSNR に著しい改善をもたらし、特に困難な方向でその役割を検証する。
• MS-LKA は多尺度の文脈を捉え、スタイル指向のチャネルアテンションを可能にすることで PSNR/SSIM をさらに改善し、cycle-SSIM 損失が全体的な性能を最も高めた。
• MDRAW ベンチマークでは、MERIT は強力な2つのベースライン（UVCGAN および Xie ら）をほとんどの指標とドメイン方向で一貫して上回った。