[논문 리뷰] Region-aware Adaptive Instance Normalization for Image Harmonization

Jun Ling, Han Xue외 3명|arXiv (Cornell University)|2021. 06. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 11

한 줄 요약

이 논문은 이미지 허밍니제이션에서 배경에서 전경으로 시각적 스타일을 전달하는 데 목적이 있는 새로운 정규화 모듈인 영역 인식형 적응형 인스턴스 정규화(RAIN)를 제안한다. 마스크 유도형 영역 인식 메커니즘을 사용해 전경 특징 통계를 배경 통계에 적응적으로 일치시킴으로써, RAIN은 현실감을 크게 향상시키고 기존 방법 대비 최대 1.37dB의 PSNR 향상과 12.07의 추정 오차 감소를 달성한다.

ABSTRACT

Image composition plays a common but important role in photo editing. To acquire photo-realistic composite images, one must adjust the appearance and visual style of the foreground to be compatible with the background. Existing deep learning methods for harmonizing composite images directly learn an image mapping network from the composite to the real one, without explicit exploration on visual style consistency between the background and the foreground images. To ensure the visual style consistency between the foreground and the background, in this paper, we treat image harmonization as a style transfer problem. In particular, we propose a simple yet effective Region-aware Adaptive Instance Normalization (RAIN) module, which explicitly formulates the visual style from the background and adaptively applies them to the foreground. With our settings, our RAIN module can be used as a drop-in module for existing image harmonization networks and is able to bring significant improvements. Extensive experiments on the existing image harmonization benchmark datasets show the superior capability of the proposed method. Code is available at {https://github.com/junleen/RainNet}.

연구 동기 및 목표

• 이미지 편집에서 전경과 배경 간 시각적 스타일의 지속적인 불일치 문제를 해결한다.
• 이미지 허밍니제이션을 조명, 색온도, 채도 및 질감을 일치시키는 스타일 전이 작업으로 재정의한다.
• 배경의 시각적 스타일을 명시적으로 학습하고 전경에 적용하는 플러그인형 정규화 레이어를 개발한다.
• 기존 허밍니제이션 네트워크의 구조적 변경을 최소화하면서 복합 이미지의 현실감을 향상시킨다.
• 다양한 벤치마크와 사용자 연구에서 일관된 성능 향상을 입증한다.

제안 방법

• 배경 특징에서만 스타일 통계(평균 및 분산)를 계산하는 영역 인식형 적응형 인스턴스 정규화(RAIN) 모듈을 제안한다.
• 전경 세그멘테이션 마스크를 사용해 전경 활성화를 분리하고, 스타일 적응을 이들 영역에만 적용한다.
• 배경 특징에서 유도된 채널별 평균 및 분산을 따라 재파rameterization하여 전경 특징맵을 적응적으로 정규화한다.
• 기존 이미지 허밍니제이션 네트워크에 RAIN을 플러그인 모듈로 통합하여 최적의 성능을 내기 위해 디코더에 통합한다.
• 실제성과 구조적 일관성을 유지하기 위해 adversarial 및 percpetual 손실을 함께 사용해 네트워크를 엔드 투 엔드로 훈련한다.
• 특징 일치와 훈련 안정성을 높이기 위해 RAIN 레이어를 해당 인코더-디코더 레이어에 대칭적으로 배치한다.

실험 결과

연구 질문

• RQ1 스타일 가이던스 없이 엔드 투 엔드 매핑만을 사용하는 것과 비교해, 명시적인 배경에서 전경으로의 스타일 전이가 복합 이미지의 현실감 향상에 기여하는가?
• RQ2 전체 영역 정규화와 비교해, 전연만을 대상으로 하는 영역 인식 스타일 적응이 시각적 일관성을 유지하는 데 얼마나 효과적인가?
• RQ3 이미지 허밍니제이션에서 성능을 최대화하기 위해 RAIN 모듈을 어디에 배치하는 것이 최적인가? (예: 인코더 vs. 디코더)
• RQ4 RAIN은 기존 네트워크에 얼마나 효과적으로 통합되어 구조적 개편 없이 성능 향상을 이끌 수 있는가?
• RQ5 실제 이미지 편집 환경에서 사용자 선호도 연구에서 RAIN은 최신 기술 대비 얼마나 뛰어난 성능을 보이는가?

주요 결과

• RAIN을 DIH 네트워크에 적용했을 때 DIH 벤치마크에서 PSNR 33.84dB를 기록했으며, 기준 모델 대비 +0.48dB 향상되었다.
• 제안된 방법은 전경 추정 오차(fMSE)를 크게 감소시켜 전경 외관이 배경과 더 잘 일치함을 입증했다.
• 사용자 연구 결과, RainNet에서 생성된 허밍니제이션 이미지가 32.5%의 투표를 확보해 모든 경쟁 방법을 압도했다.
• RAIN은 인스턴스 정규화(IN)와 배치 정규화(BN) 모두를 초월하여 PSNR와 추정 오차에서 뛰어난 성능을 보였으며, DoveNet 대비 1.37dB의 성능 향상을 기록했다.
• RAIN을 디코더에, IN을 인코더에 놓는 것이 최고의 성능을 내며, RAIN-1(1개 레이어)이 깊은 구성보다 略로 뛰어난 성능을 보였다.
• qualitative 및 quantitative 평가를 통해 복잡한 조명 및 질감 조건을 가진 장면에서도 시각적 스타일 불일치를 효과적으로 감소시켰다.