[논문 리뷰] Interactive Portrait Harmonization

Jeya Maria Jose Valanarasu, He Zhang외 8명|arXiv (Cornell University)|2022. 03. 15.

Image Enhancement Techniques인용 수 7

한 줄 요약

이 논문은 사용자가 배경 이미지의 특정 영역(예: 사람 또는 물체)을 선택하여 전경 조화를 이끄는 데 사용할 수 있는 새로운 프레임워크인 인터랙티브 포트레이트 하모니제이션(Interactive Portrait Harmonization, IPH)을 소개한다. 기존 방법이 전체 배경을 가이드로 사용하는 데서 비롯하는 한계를 극복한다. 스타일 인코더를 사용해 참조 영역의 특징을 추출하고 적응형 인스턴스 정규화(AdaIN)를 통해 삽입하며, 밝기 일치 손실(loss)을 도입함으로써 더 현실적이고 제어 가능한 포트레이트 편집을 달성한다. 이는 합성 및 실제 세계 데이터셋(실외 포트레이트 포함)에서 최신 기준(SOTA) 기준을 초월한다.

ABSTRACT

Current image harmonization methods consider the entire background as the guidance for harmonization. However, this may limit the capability for user to choose any specific object/person in the background to guide the harmonization. To enable flexible interaction between user and harmonization, we introduce interactive harmonization, a new setting where the harmonization is performed with respect to a selected \emph{region} in the reference image instead of the entire background. A new flexible framework that allows users to pick certain regions of the background image and use it to guide the harmonization is proposed. Inspired by professional portrait harmonization users, we also introduce a new luminance matching loss to optimally match the color/luminance conditions between the composite foreground and select reference region. This framework provides more control to the image harmonization pipeline achieving visually pleasing portrait edits. Furthermore, we also introduce a new dataset carefully curated for validating portrait harmonization. Extensive experiments on both synthetic and real-world datasets show that the proposed approach is efficient and robust compared to previous harmonization baselines, especially for portraits. Project Webpage at \href{https://jeya-maria-jose.github.io/IPH-web/}{https://jeya-maria-jose.github.io/IPH-web/}

연구 동기 및 목표

• 기존 이미지 하모니제이션 방법이 전체 배경을 가이드로 사용하는 데서 비롯하는 제약을 해결함으로써 포트레이트 편집에서 사용자 제어력을 제한하는 문제를 해결한다.
• 사용자가 배경 내 특정 영역(예: 사람 또는 물체)을 선택하여 하모니제이션의 기준으로 삼을 수 있도록 허용함으로써 사용자 상호작용의 유연성을 높인다.
• 스튜디오 배경에 스크린이 있거나 공간적으로 변화하는 조명 조건 등 도전적인 상황에서도 포트레이트 하모니제이션의 현실성 향상을 도모한다.
• 하모니제이션과 인터랙티브 색상 이동을 모두 지원하는 강력하고 경량의 프레임워크를 개발한다. 스타일 코드 조작을 통해 구현한다.
• 실제 세계 성능 평가를 위한 새로운 실외 포트레이트 하모니제이션 데이터셋을 제안한다.

제안 방법

• 프레임워크는 복합 전경과 참조 영역을 입력으로 받는 인코더-디코더 네트워크를 사용하며, 참조 영역은 스타일 인코더를 통해 인코딩되어 외관 특징을 추출한다.
• 전경과 선택된 참조 영역 간의 밝기 및 색상 특성을 일치시키기 위해 밝기 일치 손실(loss)을 도입함으로써 시각적 현실감을 향상시킨다.
• 적응형 인스턴스 정규화(AdaIN) 레이어를 통해 참조 스타일이 전경에 삽입되며, 공간적 세부 정보와 신원을 유지한다.
• 모델은 밝기/대trast 조정, 색상 왜곡, 감마 보정, 3D LUT, 국소 조명 효과(예: 도드지, 입자) 등을 포함한 데이터 증강 기법을 사용해 강건성을 향상시킨다.
• 스타일 코드 손실를 수정하고 별도의 인코더에서 유래한 두 개의 다른 스타일 코드를 혼합함으로써 인터랙티브 색상 이동에 쉽게 적용할 수 있다.
• 아키텍처는 파라미터 효율적이며, 총 27M 파라미터를 가지며, 이는 이전 방법들인 Bargain-Net(58M) 및 Rain-Net(54M)보다 경량화되어 있다.

실험 결과

연구 질문

• RQ1 전체 배경을 가이드로 사용하는 것과 비교해 사용자가 지정한 영역 선택이 포트레이트 하모니제이션의 현실성과 제어 가능성에 향상시키는가?
• RQ2 포트레이트 컴posit에서 선택된 참조 영역과 전경 간의 외관을 일치시키는 데 있어 밝기 일치 손실이 얼마나 효과적인가?
• RQ3 제안된 프레임워크는 시각적 품질과 사용자 제어를 유지하면서도 인터랙티브 색상 이동에 적합하게 변형될 수 있는가?
• RQ4 기존 최신 기준(SOTA) 하모니제이션 방법들이 인터랙티브 가이드를 지원하지 못하는 이유는 무엇이며, 그들의 적응을 방해하는 아키텍처적 제약은 무엇인가?
• RQ5 제안된 방법은 복잡한 조명 조건과 비균일한 배경을 가진 실제 세계의 실외 포트레이트 컴posit에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 IPH 프레임워크는 합성 및 실제 세계 포트레이트 컴posit에서 뛰어난 시각적 품질을 달성하며, 특히 스크린이 있는 스툴리오 배경이나 공간적으로 변화하는 조명 조건에서 이전 방법의 성능 저하가 발생하는 경우에 특히 유리하다.
• 사용자가 선택한 참조 영역은 SOTA 방법들인 Rain-Net이 특징이 뚜렷하지 않은 배경에서는 실패하는 경우에도 더 현실적이고 맥락에 부합하는 하모니제이션 결과를 도출함을 입증한다.
• 밝기 일치 손실은 전경과 참조 영역 간의 외관 일관성을 크게 향상시켜 색상 및 밝기 불일치를 감소시킨다.
• 두 개의 서로 다른 스타일 코드를 혼합함으로써 프레임워크는 효과적으로 인터랙티브 색상 이동으로 재사용될 수 있으며, 혼합 비율을 통해 사용자가 색상 변화 강도를 제어할 수 있다.
• IPH는 기존 방법보다 파라미터 효율성이 뛰어나 총 27M 파라미터를 가지며, 성능을 유지하거나 향상시키면서도 더 경량화되어 있음을 시사한다.
• 실험 결과, Bargain-Net 및 Rain-Net과 같은 기존 네트워크를 인터랙티브 가이드를 지원하도록 수정해도 성능 향상이 미미하거나 전혀 없음을 확인하여, 제안된 프레임워크의 아키텍처적 혁신성과 필수성을 입증한다.