[논문 리뷰] Deep Image Harmonization

Yi‐Hsuan Tsai, Xiaohui Shen외 4명|arXiv (Cornell University)|2017. 02. 28.

Image Enhancement Techniques참고 문헌 30인용 수 19

한 줄 요약

이 논문은 전방위적인 딥 컨volution 신경망을 제안하여 배경과 전경의 외관이 일관되지 않은 경우에도 현실적인 복합 이미지를 생성하기 위해 맥락과 의미 정보를 동시에 학습하는 이미지 조화 기법을 개발한다. 대규모 고품질 합성 훈련 데이터셋을 활용함으로써, 이론적 현실성에서 기존 최고 성능 기법들을 능가하며, 실제 복합 이미지에서 B-T 점수 1.424를 기록하고, GPU에서 단 0.1초 내로 이미지를 처리한다.

ABSTRACT

Compositing is one of the most common operations in photo editing. To generate realistic composites, the appearances of foreground and background need to be adjusted to make them compatible. Previous approaches to harmonize composites have focused on learning statistical relationships between hand-crafted appearance features of the foreground and background, which is unreliable especially when the contents in the two layers are vastly different. In this work, we propose an end-to-end deep convolutional neural network for image harmonization, which can capture both the context and semantic information of the composite images during harmonization. We also introduce an efficient way to collect large-scale and high-quality training data that can facilitate the training process. Experiments on the synthesized dataset and real composite images show that the proposed network outperforms previous state-of-the-art methods.

연구 동기 및 목표

• 전경과 배경의 외관이 일관되지 않은 현실적인 복합 이미지를 생성하는 문제를 해결하기 위해.
• 기존 방법들이 수작업으로 만든 특징과 통계적 매칭에 의존하는 데서 비롯되는 한계를 극복하여, 큰 외관 차이가 있는 상황에서도 성능을 유지하기 위해.
• 맥락적 정보와 의미 정보를 모두 포괄하는 종단간 딥 러닝 프레임워크를 개발하여 조화 기술을 향상시키기 위해.
• 전문 편집이 필요로 하는 데서 비롯된 자원 부족으로 인해 부족한 대규모 고품질 훈련 데이터셋을 구축하기 위해.
• 높은 현실성 유지와 함께 실시간 추론을 가능하게 하기 위해.

제안 방법

• 이중 브랜치 인코더-디코더 CNN 아키텍처를 제안하며, 한 브랜치는 이미지 조화를 수행하고 다른 브랜치는 장면 분석을 수행하며, 특징 학습을 위해 동일한 인코더를 공유한다.
• 네트워크는 장면 분석 브랜치에서 유도된 의미 정보를 조화 브랜치로 전파하여 전경 외관 조정을 안내하도록 공동으로 훈련된다.
• 실제 이미지와 전경 객체, 배경을 조합하여 현실적인 복합 분포를 보장하는 효율적인 데이터 합성 파이프라인을 통해 대규모 고품질 훈련 쌍을 생성한다.
• 모델은 복합 이미지와 전경 마스크를 입력으로 받아 직접 조화된 이미지를 출력하며, 전경 외관을 조정한다.
• 종단간 최적화를 가능하게 하는 공동 훈련 기법을 통해 의미 이해가 맥락 인식 외관 조정을 이끄는 방식으로 작용한다.
• 훈련 과정에서는 합성 데이터셋에서 확보한 진짜 조화된 이미지들을 사용하여 조화 및 장면 분석 작업을 모두 지도 학습한다.

실험 결과

연구 질문

• RQ1 맥락과 의미 정보를 동시에 활용하는 종단간 딥 러닝 모델이 복합 이미지를 효과적으로 조화시킬 수 있는가?
• RQ2 조화 및 장면 분석을 공동으로 훈련시키는 방식이 통계적 매칭만을 사용하는 방법보다 현실성 향상에 기여하는가?
• RQ3 데이터 생성 파이프라인을 통해 학습된 대규모 고품질 합성 데이터셋이 실제 복합 이미지로 일반화될 수 있는가?
• RQ4 기존 최고 성능 기법 대비 현실성 및 추론 속도 측면에서 제안된 방법의 성능 향상은 어느 정도인가?
• RQ5 복잡하거나 혼잡한 배경을 가진 임의의 전경 마스크에 대해서도 모델이 일반화 가능한가?

주요 결과

• 제안된 방법은 실제 복합 이미지에서 B-T 점수 1.424를 기록하여, 다음으로 좋은 성능을 보인 방법(1.139)보다 유저 스터디에서 뚜렷한 우월성을 보였다.
• 합성 데이터셋에서의 결과로, 대규모 훈련 데이터로부터 효과적인 학습이 이루어졌음을 입증하는 뛰어난 정량적 성능을 확보했다.
• 이전의 통계적 매칭 또는 최적화 기반 방법들이 10초 이상 소요되던 데 비해, 모델은 Titan X GPU에서 추론 시간을 0.1초로 단축시켰다.
• 다양한 전경 마스크, 특히 반전 마스크에 대해서도 잘 일반화되어, 다양한 맥락과 의미 정보에 대한 강건성을 입증했다.
• 유저 스터디 결과, [28] 및 [32]보다 더 현실적인 결과를 생성함을 확인하였으며, 특히 큰 외관 차이가 있는 경우에 뚜렷한 우수성을 보였다.
• 조화 및 장면 분석의 공동 훈련을 통해 의미 인식 기반 조정이 가능해졌으며, 예를 들어 주변 톤에 맞게 하늘 영역을 정확히 수정함으로써 시각적 타당성을 향상시켰다.