[論文レビュー] Hierarchical Contrastive Learning for Pattern-Generalizable Image Corruption Detection

Xin Feng, Yifeng Xu+2 more|arXiv (Cornell University)|Aug 27, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本論文は、画像の不具合検出のための階層的対照学習フレームワークを提案し、不具合領域と健全な領域の間の意味的対比を学習することで、不具合のパターン依存の認識に依存せずに不具合領域を検出する。この手法は、特別な階層的相互作用機構を備えた粗いから細かいマスク予測を用い、グラフィティ、ノイズ、透かしなどの多様な不具合パターンにおいて最先端の性能と強い汎化性能を達成している。

ABSTRACT

Effective image restoration with large-size corruptions, such as blind image inpainting, entails precise detection of corruption region masks which remains extremely challenging due to diverse shapes and patterns of corruptions. In this work, we present a novel method for automatic corruption detection, which allows for blind corruption restoration without known corruption masks. Specifically, we develop a hierarchical contrastive learning framework to detect corrupted regions by capturing the intrinsic semantic distinctions between corrupted and uncorrupted regions. In particular, our model detects the corrupted mask in a coarse-to-fine manner by first predicting a coarse mask by contrastive learning in low-resolution feature space and then refines the uncertain area of the mask by high-resolution contrastive learning. A specialized hierarchical interaction mechanism is designed to facilitate the knowledge propagation of contrastive learning in different scales, boosting the modeling performance substantially. The detected multi-scale corruption masks are then leveraged to guide the corruption restoration. Detecting corrupted regions by learning the contrastive distinctions rather than the semantic patterns of corruptions, our model has well generalization ability across different corruption patterns. Extensive experiments demonstrate following merits of our model: 1) the superior performance over other methods on both corruption detection and various image restoration tasks including blind inpainting and watermark removal, and 2) strong generalization across different corruption patterns such as graffiti, random noise or other image content. Codes and trained weights are available at https://github.com/xyfJASON/HCL .

研究の動機と目的

• 大規模な画像不具合、例えばブラインドインpainting や透かし除去における正確でパターンに一般化可能な不具合マスク検出の課題に対処すること。
• VCNet などの既存手法が不具合の意味的パターンを学習に依存しており、未観測または不規則な不具合パターンへの一般化が不十分であるという限界を克服すること。
• 事前に不具合の形状や外観を知らなくても自動的に不具合マスクを検出し、高品質な復元をガイドする汎用的ブラインド画像復元フレームワークを構築すること。
• 新規の階層的相互作用機構によるスケール間の知識伝達を活用した粗いから細かい対照学習により、性能と効率を向上させること。

提案手法

• この手法は、まず低解像度特徴を用いた対照学習により粗い不具合マスクを予測する階層的対照学習フレームワークを採用する。
• 次に、粗いマスクの不確実な領域を、細粒度特徴における高解像度対照学習を用いて精緻化し、効率性を高めるために低信頼度ピクセルに限定して処理する。
• 特別に設計された階層的相互作用機構により、段階間の意味的整合性と高品質なサンプル選択が可能となり、粗い段階と細かい段階間での知識伝達が促進される。
• 不具合領域と健全な領域が対照的に分離される埋め込み空間を学習することで、意味的パターン認識に依存しない。
• 得られたマルチスケールマスクが、粗いから細かい段階の生成的復元プロセスをガイドし、復元品質を向上させる。
• エンド・トゥ・エンドで訓練され、スケール間の不具合領域と健全な領域の意味的差を最大化するための対照損失が使用される。

実験結果

リサーチクエスチョン

• RQ1 VCNet らようなパターン認識ベースの手法と比較して、対照学習ベースのアプローチは、多様で未観測の不具合パターンに一般化してより優れた性能を示せるか？
• RQ2 粗いから細かい階層的対照学習フレームワークは、高精度かつ高効率に不具合マスクを検出できるか？
• RQ3 提案された階層的相互作用機構は、スケール間での知識伝達と性能向上にどの程度寄与しているか？
• RQ4 グラフィティ、ランダムノイズ、またはトレーニング時に見られなかった実画像パッチなどの未観測の不具合タイプへの一般化は、どの程度達成できるか？

主な発見

• 提案手法は、一般化ベンチマークにおいて、F1スコア 0.986、IoU 0.975 を達成し、最先端の性能を示しており、VCNet より顕著に優れている。
• ブラインドインpainting において、グラフィティ不具合ではPSNR 37.69、SSIM 0.985 を達成し、VCNet（PSNR: 32.66、SSIM: 0.963）を上回り、専用手法と同等またはそれを上回っている。
• 透かし除去において、PSNR 41.88、SSIM 0.992、FID 0.007 を達成し、最先端のSplit then Refine手法（FID: 0.011）を上回っている。
• アブレーションスタディにより、階層的相互作用機構、特に段階間の意味的整合性が極めて重要であることが確認され、これを削除するとF1スコアが0.002低下し、IoUが0.015低下する。
• 未観測の不具合パターンへの一般化性能は強く、未観測のグラフィティやノイズにおいても高い検出精度（F1 > 0.97）を維持している一方、VCNet の性能は顕著に低下する。
• 透かし除去においてFIDをVCNetと比較して50％削減し、影の除去においても25％削減しており、多様な復元タスクにおいて堅牢であることが示された。