[논문 리뷰] BargainNet: Background-Guided Domain Translation for Image Harmonization

Wenyan Cong, Li Niu외 3명|arXiv (Cornell University)|2020. 09. 19.

Image Enhancement Techniques참고 문헌 12인용 수 5

한 줄 요약

BargainNet는 이미지 히든라이징을 위한 배경 유도 도메인 번역 프레임워크를 제안한다. 여기서 도메인 코드 추출기(도메인 코드 추출기)는 U-Net 생성기(생성기)를 통해 전경 스타일 번역을 유도하기 위해 배경 특화 도메인 코드를 학습한다. 이 방법은 도메인 코드 정확도를 보장하기 위해 맞춤형 트리플릿 손실을 사용하며, iHarmony4에서 최신 기술 성능을 달성하고, 비조화 수준 예측과 같은 추가 작업도 가능하게 한다.

ABSTRACT

Image composition is a fundamental operation in image editing field. However, unharmonious foreground and background downgrade the quality of composite image. Image harmonization, which adjusts the foreground to improve the consistency, is an essential yet challenging task. Previous deep learning based methods mainly focus on directly learning the mapping from composite image to real image, while ignoring the crucial guidance role that background plays. In this work, with the assumption that the foreground needs to be translated to the same domain as background, we formulate image harmonization task as background-guided domain translation. Therefore, we propose an image harmonization network with a novel domain code extractor and well-tailored triplet losses, which could capture the background domain information to guide the foreground harmonization. Extensive experiments on the existing image harmonization benchmark demonstrate the effectiveness of our proposed method. Code is available at https://github.com/bcmi/BargainNet.

연구 동기 및 목표

• 기존의 이미지 히든라이징 방법들이 스타일 정렬에서 배경의 유도 역할을 간과하는 한계를 해결하기 위해.
• 다른 촬영 조건을 서로 다른 도메인으로 간주하여 이미지 히든라이징을 배경 유도 도메인 번역 문제로 재정의하기 위해.
• 부분 컨볼루션을 사용하여 전경 콘텐츠의 간섭 없이 배경 도메인 정보를 캡처하는 도메인 코드 추출기를 설계하기 위해.
• 도메인 코드가 의미적 레이아웃이 아닌 진정한 도메인 차이를 반영하도록 보장하기 위해 잘 맞춤형 트리플릿 손실을 통해 새로운 학습 목표를 개발하기 위해.
• 추출된 도메인 코드를 통해 후행 응용 프로그램, 예를 들어 배경 히든라이징 및 비조화 수준 예측을 가능하게 하기 위해.

제안 방법

• 부분 컨볼루션 기반의 도메인 코드 추출기가 배경 특징을 격리하여 전경 유출을 최소화하면서 도메인 특화 코드를 추출한다.
• 배경 도메인 코드는 공간적으로 업샘플링되어 전경 마스크와 연결되어 U-Net 생성기의 전경 번역을 조건화한다.
• 트리플릿 손실은 배경, 실제 전경, 히든라이징된 전경의 도메인 코드를 가까이 모으고, 복합 전경 코드는 멀리 밀어내도록 설계된다.
• 트리플릿 손실은 다음을 강제한다: d(z_b, z_f) < d(z_b, z_f~), d(z_b, z_hat_f) < d(z_b, z_f~), d(z_f, z_hat_f) < d(z_f, z_f~), 총 6개 제약 조건 중에서.
• 생성기는 전경 마스크와 배경 도메인 코드를 연결한 조건에 따라 주의력 강화 U-Net 아키텍처를 사용하여 히든라이징 출력을 생성한다.
• 모델은 적대적 손실과 인지적 손실과 함께 제안된 트리플릿 손실을 함께 사용하여 iHarmony4 벤치마크에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 배경 도메인 정보는 이미지 히든라이징에서 전경 스타일 번역을 유도하기 위해 효과적으로 추출되고 사용될 수 있는가?
• RQ2 이미지 히든라이징을 배경 유도 도메인 번역 문제로 재정의하면 기존 방법보다 더 나은 시각적 및 정량적 성능을 내는가?
• RQ3 추출된 도메인 코드는 복합 이미지의 비조화 수준을 예측하는 데 사용될 수 있는가?
• RQ4 제안된 트리플릿 손실은 도메인 코드가 의미적 레이아웃이 아닌 도메인 고유 특징을 캡처하도록 보장하는 데 얼마나 효과적인가?
• RQ5 마스크와 코드 역할을 뒤바꿔 모델을 배경 히든라이징에 적용할 수 있는가?

주요 결과

• 제안된 방법은 iHarmony4 벤치마크에서 최신 기술 성능을 달성하여, DIH, S2AM, DoveNet를 포함한 기존 방법들보다 정량적 및 정성적 평가에서 모두 뛰어난 성능을 보였다.
• 트리플릿 손실은 도메인 코드 품질을 크게 향상시켰으며, 훈련 트리플릿의 95.6%가 6개 제약 조건을 모두 충족함으로써 그 효과가 입증되었다. DoveNet 대비 더 낮은 비율에 비해 높은 성능을 보였다.
• 99개의 실제 복합 이미지에 대한 사용자 연구 결과, BargainNet는 다른 딥러닝 방법들보다 감각적 품질과 현실성에서 더 선호됨을 확인했다.
• 마스크와 코드 역할을 뒤바꿔 모델을 적용함으로써 배경 히든라이징이 가능해졌으며, 이는 전경 전용 조정을 넘어서 일반화된 성능을 보여주었다.
• 전경과 배경 도메인 코드 간의 유클리드 거리는 높은 거리일수록 더 큰 시각적 일관성 부족을 의미하므로, 신뢰할 수 있는 비조화 수준 예측 지표로 기능한다.
• 제거 실험 결과, 트리플릿 손실을 제거할 경우 보다 일관성 없는 히든라이징이 발생함을 확인하여, 효과적인 도메인 코드 학습을 위해 필수적임을 입증했다.