[論文レビュー] MSR-Net: Multi-Scale Relighting Network for One-to-One Relighting

Sourya Dipta Das, Nisarg A. Shah+1 more|arXiv (Cornell University)|Jul 13, 2021

Image Enhancement Techniques参考文献 17被引用数 5

ひとこと要約

本稿では、3つの画像スケールにわたる粗-細の階層的特徴統合を用いた、1対1の画像再ライティングを目的とした軽量で微分可能でスタックされたマルチスケール深層ネットワーク、MSR-Netを提案する。2段階の訓練戦略と重み付き結合損失関数を用いることで、先行モデルと比較してアーティファクトを顕著に低減し、知覚的品質を向上させ、VIDITデータセット上で17.89のPSNRおよび0.5899のSSIMという最先端の性能を達成した。

ABSTRACT

Deep image relighting allows photo enhancement by illumination-specific retouching without human effort and so it is getting much interest lately. Most of the existing popular methods available for relighting are run-time intensive and memory inefficient. Keeping these issues in mind, we propose the use of Stacked Deep Multi-Scale Hierarchical Network, which aggregates features from each image at different scales. Our solution is differentiable and robust for translating image illumination setting from input image to target image. Additionally, we have also shown that using a multi-step training approach to this problem with two different loss functions can significantly boost performance and can achieve a high quality reconstruction of a relighted image.

研究の動機と目的

• 既存のリライト手法が計算コストが高く、メモリ効率に欠けるという限界を克服するため、より効率的で微分可能なアーキテクチャを設計すること。
• 粗-細のエンコーダ-デコーダベースのネットワークとスケール間のスキップ接続を用いて、マルチスケール特徴階層を活用することで、画像リライト性能を向上させること。
• 新たな2段階の訓練戦略と複数の損失関数の重み付き組み合わせを導入することで、再構成品質とエッジ保持性を向上させること。
• 特に色温度および照明方向の移行に特化して、高い推論速度と低メモリ使用量を維持しながら、高品質なリライト結果を達成すること。
• 芸術的強調、データ拡張、ドメイン適応などのリライトタスクにおいて、その頑健性と一般化性能を示すこと。

提案手法

• コアアーキテクチャは、ベースとなる深層マルチスケール階層ネットワーク（DMSHN）を2回スタックして拡張したスタックドDMSHN（Stacked DMSHN）であり、特徴表現と性能を向上させる。
• ネットワークは3段階の画像ピラミッドを介して入力画像を処理し、各段階にエンコーダとデコーダを備える。スケール間のスケルプ接続により、空間的および文脈的詳細を保持する。
• 各段階のエンコーダ出力を、直前の段階の出力と連結して次なるデコーダに渡すことで、階層的特徴統合と改善されたグローバルコンテキストモデリングを実現する。
• モデルは2段階で訓練される：最初にL2損失を用いて初期収束を図り、次にL1、SSIM、知覚的、全変動損失を組み合わせた結合損失関数を用いる。
• 結合損失関数は $ L_{CL} = \lambda_1 L_1 + \lambda_2 L_{SSIM} + \lambda_3 L_p + \lambda_4 L_{tv} $ で定義され、ハイパーパrameterは $ \lambda_1=1 $、$ \lambda_2=-5e^{-3} $、$ \lambda_3=0.006 $、$ \lambda_4=2e^{-8} $ である。
• 学習はAdam最適化法を用い、2500エポックにわたり学習率を2e-3から5e-5へ段階的に低下させ、バッチサイズは2、入力画像は効率性を考慮して512×512にリサイズされる。

実験結果

リサーチクエスチョン

• RQ1 スタックされたマルチスケール深層ネットワークは、既存のモデルと比較して、より低い推論時間とメモリ使用量で優れたリライト性能を達成できるか？
• RQ2 結合損失関数を用いた2段階の訓練戦略は、リライト画像の知覚的品質を向上させ、アーティファクトを低減するか？
• RQ3 複数の損失成分（L1、SSIM、知覚的、TV）の統合は、再構成忠実度とエッジ保持性にどのように影響するか？
• RQ4 微分可能でエンドツーエンドのアーキテクチャは、非微分可能な2段階手法に比べて、画像リライトタスクで顕著に優れた性能を示せるか？
• RQ5 深度情報や幾何的事前知識を必要とせず、色温度および照明方向の移行に良好に一般化できるか？

主な発見

• スタックドDMSHNモデルは、検証セットでPSNRが17.89、SSIMが0.5899を達成し、DRN、Dense-GridNet、SRNを含むすべての比較モデルを上回った。
• 提案された結合損失関数（$ L_{CL} $）は、L2損失や組み合わせSobel損失のみを用いた場合と比較して、PSNRとLPIPSスコアを顕著に向上させ、17.89のPSNRと0.4088のLPIPSスコアを達成した。
• 同等のマルチスケールモデルの中で、平均推論時間が最も短く（0.0116秒）、比較中最も高速であった。
• 定性的な結果では、LPIPSスコアが低いDense-GridNetと比較して、スタックドDMSHNはアーティファクトが少なく、知覚的品質に優れた画像を生成した。
• 2段階の訓練プロセスは性能を顕著に向上させ、最終モデルはすべての指標で単一段階訓練よりも優れた結果を達成した。
• 光の勾配生成にはやや良好な性能を示したが、深度情報が欠落しているため、陰影の強い領域では困難を示した。今後の研究では、マルチビュー入力を必要とすることが示唆された。