[논문 리뷰] Image Harmonization by Matching Regional References

Ziyue Zhu, Zhao Zhang외 4명|arXiv (Cornell University)|2022. 04. 10.

Image Enhancement Techniques인용 수 7

한 줄 요약

이 논문은 전역적 인용 전달 방식 대신 내용 관련 배경 영역을 매칭하여 전경의 외관을 적응적으로 조정하는 새로운 이미지 조화 방법을 제안한다. 깊이 있는 특징과 浅층 특징을 활용한 굵은-세밀한 외관 변환과 세부 사항을 보존하기 위한 잔차 재구성 전략을 통해, iHarmony4에서 38.57 dB PSNR 및 21.43 MSE를 기록하며 기존 방법에 비해 더 적은 파rameter로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To achieve visual consistency in composite images, recent image harmonization methods typically summarize the appearance pattern of global background and apply it to the global foreground without location discrepancy. However, for a real image, the appearances (illumination, color temperature, saturation, hue, texture, etc) of different regions can vary significantly. So previous methods, which transfer the appearance globally, are not optimal. Trying to solve this issue, we firstly match the contents between the foreground and background and then adaptively adjust every foreground location according to the appearance of its content-related background regions. Further, we design a residual reconstruction strategy, that uses the predicted residual to adjust the appearance, and the composite foreground to reserve the image details. Extensive experiments demonstrate the effectiveness of our method. The source code will be available publicly.

연구 동기 및 목표

• 실제 이미지의 지역적 외관 변화를 고려하지 못하는 전역적 외관 전달 방식의 한계를 해결하기 위해.
• 각 전경 위치를 그와 가장 관련성이 높은 배경 영역에 기반해 적응시켜 시각적 일관성을 향상시키기 위해.
• 조명 및 색조와 같은 외관 속성만 조정하면서도 원본 복합 전경의 세밀한 세부 사항을 보존하기 위해.
• 기존 방법에 비해 더 낮은 모델 복잡도로도 뛰어난 성능을 달성하기 위해.

제안 방법

• 심층 신경망 특징 공간에서 내용 유사도를 이용해 각 전경 위치에 대해 관련성이 높은 배경 영역를 식별하기 위해 전경과 배경 표현을 매칭한다.
• 두 가지 외관 변환 전략을 적용한다: 전역적 구조를 위해 깊이 있는, 저해상도 특징을 사용하는 굵은 수준 전략과, 국소적 세부 사항을 위해 浅층 특징과 패치 기반 통계를 사용하는 세밀 수준 전략.
• 배경 영역는 겹치는 패치로 나누며, 각 패치의 외관은 채널별 평균과 표준편차로 표현된다.
• 내용 유사도 기반 가중치 융합을 통해 외관 전달를 수행하여 각 전경 픽셀이 오직 가장 관련성이 높은 배경 기준만을 사용하도록 보장한다.
• 잔차 재구성 전략을 통해 입력 복합 이미지에 대한 잔차 조정을 학습하고 적용함으로써 원본 전경 세부 사항을 보존하며, 종단 간 생성을 피한다.
• 최소한의 추가 파rameter를 가진 U-Net 기반 생성자 내에 구현되어 높은 성능과 낮은 계산 비용을 달성한다.

실험 결과

연구 질문

• RQ1 내용 관련 배경 영역를 매칭함으로써 전역적 외관 전달을 초월한 이미지 조화 향상이 가능한가?
• RQ2 자기 주의(Self-attention) 또는 전역 통계 기반 방법에 비해 지역 기반 기준 매칭은 성능과 효율성 측면에서 어떻게 비교되는가?
• RQ3 잔차 기반 재구성 전략은 조명 및 색조와 같은 외관 속성을 조정하면서도 전경 세부 사항을 보존할 수 있는가?
• RQ4 粗-세밀한 외관 변환 전략은 복합 이미지의 시각적 일관성을 얼마나 향상시키는가?
• RQ5 내용 인식 기반 지역 매칭을 통해 파rameter 수를 줄이면서 성능 향상을 유지하는 것이 가능한가?

주요 결과

• 제안된 방법은 iHarmony4 벤치마크에서 38.57 dB PSNR, 21.43 MSE, 248.12 fMSE를 기록하며 비교된 모든 방법을 능가한다.
• 단지 117.42M 파rameter로도 두 번째로 우수한 방법보다 0.42 dB 높은 PSNR를 기록하여 뛰어난 파rameter 효율성을 입증한다.
• 전역 AdaIN 모듈을 제안된 패치-위치 변환(PTL)으로 대체함으로써 PSNR가 0.33 dB 향상되고, MSE는 1.08 감소하며, fMSE는 17.69 감소하여 내용 인식 기반 지역 매칭의 효과를 입증한다.
• 채널 너비를 C에서 4C로 늘임으로써 PSNR는 0.60 dB 향상되고, MSE는 3.73 감소하며, fMSE는 34.57 감소하여 최소한의 성능 저하로도 강력한 확장성을 보여준다.
• 특히 고해상도 특징에서 자기 주의 및 기타 주의 메커니즘보다 성능과 계산 효율성 측면에서 모두 뛰어나다.
• 제거 실험 결과, 굵은-세밀한 전략과 잔차 재구성 메커니즘이 고품질 조화를 달성하는 데 필수적임을 확인한다.