[論文レビュー] M2-Net: Multi-stages Specular Highlight Detection and Removal in Multi-scenes

Zhaoyangfan Huang, Kun Hu+1 more|arXiv (Cornell University)|Jul 20, 2022

Image Enhancement Techniques被引用数 9

ひとこと要約

本稿では、M²-Netを提案する。これは、合成画像、顔、テキスト、自然画像の4つのシーンにおいて、最先端の性能を達成する、2段階（粗い段階と精練段階）のマルチステージ・マルチシーンの鏡面ハイライト検出および除去フレームワークである。この手法は、ハイライト特徴抽出器（HFE）と文脈的ハイライト注意（CHA）機構を用い、視覚的品質と定量的性能の両面で優れた結果を達成している。また、動画シーケンスへの深層学習ベースのハイライト除去の初適用を実現している。

ABSTRACT

In this paper, we propose a novel uniformity framework for highlight detection and removal in multi-scenes, including synthetic images, face images, natural images, and text images. The framework consists of three main components, highlight feature extractor module, highlight coarse removal module, and highlight refine removal module. Firstly, the highlight feature extractor module can directly separate the highlight feature and non-highlight feature from the original highlight image. Then highlight removal image is obtained using a coarse highlight removal network. To further improve the highlight removal effect, the refined highlight removal image is finally obtained using refine highlight removal module based on contextual highlight attention mechanisms. Extensive experimental results in multiple scenes indicate that the proposed framework can obtain excellent visual effects of highlight removal and achieve state-of-the-art results in several quantitative evaluation metrics. Our algorithm is applied for the first time in video highlight removal with promising results.

研究の動機と目的

• 既存のハイライト除去手法がシーンに特化しており、1段階処理に限られているという制限に対処すること。
• 合成、顔、テキスト、自然画像を含む多様なシーンで鏡面ハイライトを処理できる統合フレームワークの開発。
• 文脈的注意メカニズムを用いた2段階の精練プロセスにより、ハイライト除去の品質を向上させること。
• 時間的整合性が重要な動画データセットへの、深層学習ベースのハイライト除去の初適用を可能とすること。

提案手法

• ハイライト特徴抽出器（HFE）モジュールは、多スケール特徴を用いて、明るさの変動に基づいてハイライト領域を検出する。
• 粗いハイライト除去モジュールは、ゲート付きおよび拡張畳み込みを用いて、入力画像からの顕著なハイライトを除去する。
• 精練ハイライト除去モジュールは、ハイライトと背景特徴を統合する文脈的ハイライト注意（CHA）機構を適用し、より良いテクスチャの一貫性を実現する。
• CHA機構は、グローバルおよびローカル注意（BAおよびHA）を組み合わせることで、修復領域における構造的および色の正確性を保持する。
• 視覚的品質と構造的類似性の両最適化を目的として、知覚的損失および再構成損失を用いて、エンドツーエンドでネットワークを学習する。
• 動画への適用は、各フレームを独立して処理することで実現し、時間的整合性に優れた堅牢性を示している。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングフレームワークが、複数の多様なシーンにおいて最先端の鏡面ハイライト除去を達成できるか？
• RQ2 粗い段階と精練段階の2段階アーキテクチャは、1段階手法と比較して、ハイライト除去品質をどのように向上させるか？
• RQ3 文脈的ハイライト注意（CHA）機構は、除去領域におけるテクスチャおよび色の一貫性をどの程度向上させるか？
• RQ4 提案手法は、時間的整合性が重要な動画ハイライト除去に一般化可能か？
• RQ5 過度に飽和している、または極めて大きなハイライト領域を処理する際、この手法の限界は何か？

主な発見

• SHIQデータセットでは、M²-NetがPSNR 35.72、SSIM 0.91を達成し、2番目に優れた手法よりもPSNRで1.94、SSIMで0.02上回った。
• SD1データセットでは、PSNR 33.44、SSIM 0.92を達成し、ベースラインおよびDenseUnetを顕著に上回った。
• アブレーションスタディにより、HFEモジュールおよびCHA機構の両方が不可欠であることが確認され、SHIQデータセットではHFEの導入でPSNRがベースライン比4.64向上した。
• BAおよびHAの両成分を有するCHAモジュールが最良の結果をもたらし、色歪みを低減し、大規模領域の埋め込みの一貫性を向上させた。
• 1920×1080解像度の動画シーケンスにおいて、最小限のアーティファクトでハイライトを効果的に除去し、フレーム間で一貫した外観を維持した。
• 限界として、飽和したハイライトや大規模領域では性能が著しく低下し、テクスチャの回復に失敗し、不自然なパッチが生成される場合がある。