[논문 리뷰] Hierarchical Contrastive Learning for Pattern-Generalizable Image Corruption Detection

Xin Feng, Yifeng Xu외 2명|arXiv (Cornell University)|2023. 08. 27.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 패턴 일반화 가능한 이미지 손상 검출을 위한 계층적 대비 학습 프레임워크를 제안한다. 이는 손상된 영역과 손상되지 않은 영역 간의 의미적 대비를 학습하여, 패턴 기반에 의존하지 않고 손상 영역을 검출한다. 방법은 전문화된 계층적 상호작용 메커니즘을 사용한 굵은 톤에서 세밀한 토너먼트 마스크 예측을 통해 최신 기술 성능을 달성하며, 스모크, 노이즈, 워터마크와 같은 다양한 손상 패턴에 대해 강력한 일반화 능력을 보인다.

ABSTRACT

Effective image restoration with large-size corruptions, such as blind image inpainting, entails precise detection of corruption region masks which remains extremely challenging due to diverse shapes and patterns of corruptions. In this work, we present a novel method for automatic corruption detection, which allows for blind corruption restoration without known corruption masks. Specifically, we develop a hierarchical contrastive learning framework to detect corrupted regions by capturing the intrinsic semantic distinctions between corrupted and uncorrupted regions. In particular, our model detects the corrupted mask in a coarse-to-fine manner by first predicting a coarse mask by contrastive learning in low-resolution feature space and then refines the uncertain area of the mask by high-resolution contrastive learning. A specialized hierarchical interaction mechanism is designed to facilitate the knowledge propagation of contrastive learning in different scales, boosting the modeling performance substantially. The detected multi-scale corruption masks are then leveraged to guide the corruption restoration. Detecting corrupted regions by learning the contrastive distinctions rather than the semantic patterns of corruptions, our model has well generalization ability across different corruption patterns. Extensive experiments demonstrate following merits of our model: 1) the superior performance over other methods on both corruption detection and various image restoration tasks including blind inpainting and watermark removal, and 2) strong generalization across different corruption patterns such as graffiti, random noise or other image content. Codes and trained weights are available at https://github.com/xyfJASON/HCL .

연구 동기 및 목표

• 블라인드 인paint링 및 워터마크 제거와 같은 대규모 이미지 손상에서 정밀하고 패턴 일반화 가능한 손상 마스크 검출 문제를 해결하기 위해.
• VCNet과 같은 기존 방법이 손상 패턴의 의미적 패턴을 학습하기 때문에 새로운 또는 비정형 손상 패턴으로의 일반화 능력이 떨어지는 한계를 극복하기 위해.
• 사전 지식 없이도 손상 마스크를 자동으로 검출하고, 손상 형태나 외관에 대한 사전 정보 없이 고품질 복원을 유도하는 일반 목적의 블라인드 이미지 복원 프레임워크를 개발하기 위해.
• 새로운 계층적 상호작용 메커니즘을 통해 스케일 간 지식 전이를 가능하게 하는 굵은 톤에서 세밀한 토너먼트 대비 학습을 활용하여 성능과 효율성을 향상시키기 위해.

제안 방법

• 이 방법은 먼저 저해상도 특징을 사용해 대비 학습을 통해 굵은 톤의 손상 마스크를 예측하는 계층적 대비 학습 프레임워크를 사용한다.
• 그 다음, 세분화된 특징에서 고해상도 대비 학습을 통해 굵은 톤 마스크의 불확실한 영역을 정밀하게 보정하며, 효율성을 위해 저신뢰도 픽셀에만 집중한다.
• 특화된 계층적 상호작용 메커니즘이 계층 간 의미적 일致성과 고품질 샘플 선택을 가능하게 하여, 굵은 톤 단계와 세밀한 단계 간 지식 전이를 촉진한다.
• 손상된 영역과 손상되지 않은 영역이 대비적으로 분離되는 임bedding 공간을 학습함으로써 의미적 패턴 인식에 의존하지 않는다.
• 검출된 다중 해상도 마스크는 굵은 톤에서 세밀한 토너먼트 생성 복원 과정을 안내하여 복원 품질을 향상시킨다.
• 모델은 스케일 간 손상된 영역와 손상되지 않은 영역 간 의미적 구별을 극대화하기 위해 대비 손실을 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 패턴 인식 기반 방법(예: VCNet)과 비교해 대비 학습 기반 접근이 다양한 새로운 손상 패턴에서 더 잘 일반화되는가?
• RQ2 굵은 톤에서 세밀한 토너먼트 계층적 대비 학습 프레임워크는 높은 정밀도와 효율성으로 손상 마스크를 검출하는 데 얼마나 효과적인가?
• RQ3 제안된 계층적 상호작용 메커니즘이 스케일 간 지식 전이 및 성능 향상에 기여하는 정도는 어떠한가?
• RQ4 모델이 훈련 중에 볼 수 없었던 손상 유형, 예를 들어 스크래치, 무작위 노이즈, 또는 실제 이미지 패치와 같은 새로운 손상 유형으로의 일반화 능력은 어느 정도인가?

주요 결과

• 제안된 방법은 일반화 벤치마크에서 평균 F1 점수 0.986과 IoU 0.975를 기록하며, 최신 기술 성능을 달성했으며 VCNet을 크게 능가한다.
• 블라인드 이미지 인페인팅에서, 모델은 스크래치 손상에 대해 PSNR 37.69, SSIM 0.985를 기록했으며, VCNet(PSNR: 32.66, SSIM: 0.963)을 능가했고 전문 방법과도 유사하거나 뛰어난 성능을 보였다.
• 워터마크 제거에서, 모델은 PSNR 41.88, SSIM 0.992, FID 0.007을 기록했으며, 최신 기술인 Split then Refine 방법(FID: 0.011)을 능가했다.
• 절단 실험 결과, 계층적 상호작용 메커니즘, 특히 계층 간 의미적 일치성이 핵심임을 확인했으며, 이를 제거하면 F1 점수는 0.002 감소하고 IoU는 0.015 감소한다.
• 모델은 새로운 손상 패턴으로의 일반화 능력이 뛰어나, 새로운 스크래치와 노이즈에 대해서도 높은 검출 정확도(F1 > 0.97)를 유지하는 반면, VCNet의 성능은 크게 떨어졌다.
• 워터마크 제거에서는 VCNet 대비 FID를 50% 감소시키며, 그림자 제거에서는 25% 감소시켜 다양한 복원 작업에서의 강건성을 입증했다.