[논문 리뷰] Image Harmonization with Region-wise Contrastive Learning

Jingtang Liang, Chi‐Man Pun|arXiv (Cornell University)|2022. 05. 27.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 배경의 외형 특징을 스타일 참조로 사용하고, 전경과 배경의 스타일 표현을 정렬하는 영역별 대비 손실을 적용함으로써 전경-배경 외형 일관성 향상을 위한 새로운 이미지 히어로니제이션 프레임워크를 제안한다. 인코더에서 추출한 배경 특징을 스타일 참조로 활용하고, 전경과 배경의 스타일 표현을 정렬하는 영역별 대비 손실을 적용함으로써, 벤치마크 및 실제 환경 데이터셋에서 높은 시각적 현실감과 강건성을 확보한 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Image harmonization task aims at harmonizing different composite foreground regions according to specific background image. Previous methods would rather focus on improving the reconstruction ability of the generator by some internal enhancements such as attention, adaptive normalization and light adjustment, $etc.$. However, they pay less attention to discriminating the foreground and background appearance features within a restricted generator, which becomes a new challenge in image harmonization task. In this paper, we propose a novel image harmonization framework with external style fusion and region-wise contrastive learning scheme. For the external style fusion, we leverage the external background appearance from the encoder as the style reference to generate harmonized foreground in the decoder. This approach enhances the harmonization ability of the decoder by external background guidance. Moreover, for the contrastive learning scheme, we design a region-wise contrastive loss function for image harmonization task. Specifically, we first introduce a straight-forward samples generation method that selects negative samples from the output harmonized foreground region and selects positive samples from the ground-truth background region. Our method attempts to bring together corresponding positive and negative samples by maximizing the mutual information between the foreground and background styles, which desirably makes our harmonization network more robust to discriminate the foreground and background style features when harmonizing composite images. Extensive experiments on the benchmark datasets show that our method can achieve a clear improvement in harmonization quality and demonstrate the good generalization capability in real-scenario applications.

연구 동기 및 목표

• 기존 이미지 히어로니제이션 방법이 전경과 배경의 외형 특징를 구분하고 정렬하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 구조적 또는 의미적 콘텐츠를 손상시키지 않으면서 생성기의 능력을 향상시켜 배경 스타일을 전경으로 전달함으로써 히어로니제이션 품질을 향상시키기 위해.
• 전경과 배경 패치 간의 스타일 일관성을 명시적으로 모델링하는 영역별 대비 손실을 도입하기 위해.
• 더 정확하고 일관된 스타일 전달을 위해 안정적인 인코더에서 추출한 배경 특징을 외부 스타일 가이던스로 활용하기 위해.
• 실제 환경 상황에서의 보다 우수한 일반화 성능를 확보하면서도 계산 오버헤드를 낮게 유지하기 위해.

제안 방법

• 히어로니제이션된 전경 패치를 음성 샘플로, 진짜 배경 패치를 양성 샘플로 간주하는 영역별 대비 손실 함수 $\mathcal{L}_{HCL}$ 를 제안한다.
• 인코더의 백본에서 추출한 특징을 사용하여 안정적인 스타일 참조로 삼고, 적응형 인스턴스 정규화를 통해 디코더의 특징 변환을 안내하는 외부 스타일 융합을 도입한다.
• 양성 및 음성 패치 특징을 공통 잠재 공간에 통합하기 위해 공유된 다층 퍼셉트론(MLP)을 사용하여 대비 최적화를 수행한다.
• 스타일 융합을 각 디코더 블록에 적용한 UNet 기반 생성기를 사용하며, 배경 외형 특징을 전경 특징과 융합하여 현실감을 향상시킨다.
• 구조적 및 의미적 충실도를 유지하기 위해 픽셀 단위의 재구성 손실 ($\mathcal{L}_{pixel}$) 을 대비 손실과 함께 적용한다.
• 고품질의 현실적인 출력을 확보하기 위해 $\mathcal{L}_{pixel}$, $\mathcal{L}_{HCL}$, 및 표준 GAN 손실의 조합을 사용하여 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 영역별 대비 학습 기반의 접근 방식이 이미지 히어로니제이션에서 전경과 배경의 스타일 특징를 구분하고 정렬하는 데에 효과적인가?
• RQ2 안정적인 인코더에서 추출한 배경 특징를 외부 스타일 참조로 사용할 경우, 디코더 내부 특징에만 의존하는 것보다 더 나은 히어로니제이션 성능를 달성하는가?
• RQ3 샘플링된 패치 수가 대비 손실의 성능 및 학습 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 비합성적, 실제 환경 이미지 조합에 효과적으로 일반화되는가?
• RQ5 정량적 지표 및 시각적 품질 측면에서 제안된 방법이 최신 기술 수준의 접근 방식들과 비교해 어떻게 성능를 내는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 최신 기술 수준의 성능를 달성하였으며, 256개의 패치를 샘플링한 경우 PSNR 37.50과 SSIM 99.04를 기록하였다.
• 256개의 패치를 사용할 경우 성능와 학습 복잡성 간의 최적 균형을 확보하였으며, 더 높은 수치(예: 512 또는 1024)는 특징 복잡성과 계산 비용 증가로 인해 성능이 저하됨을 확인하였다.
• 절단 분석 결과, 영역별 대비 손실이 스타일 융합만으로는 달성할 수 없는 수준의 히어로니제이션 품질 향상을 확인하였으며, 전경-배경 일관성 측면에서 시각적 및 정량적 개선이 뚜렷하였다.
• 인코더 특징를 사용한 외부 스타일 융합은 디코더 재구성 특징에 의존하는 것보다 더 정확한 배경 세부 정보 보존을 가능하게 하였으며, 특징 맵 비교를 통해 검증되었다.
• 실제 시나리오 데이터셋에서 강력한 일반화 능력을 보이며, 합성 벤치마크를 넘어서 실용적 적용 가능성을 입증하였다.
• 대비 손실을 제거하거나 표준 $\mathcal{L}_1$ 손실로 대체할 경우 성능에 뚜렷한 하락이 발생함을 확인하였으며, 이는 대비 손실이 스타일 정렬에 핵심적인 역할을 한다는 것을 확인한다.