[논문 리뷰] Adversarial Image Composition with Auxiliary Illumination

Fangneng Zhan, Shijian Lu외 3명|arXiv (Cornell University)|2020. 09. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 58인용 수 8

한 줄 요약

이 논문은 분기형 생성자, 보조 조명 모델, 그리고 국소-전역 조화를 위한 미분 가능 공간 변환기(differentiable spatial transformer)를 통해 배경의 조명 조건을 기반으로 동시에 전경 스타일 전이와 현실적인 그림자 생성을 학습함으로써 이미지 조합의 현실감을 향상시키는 AIC-Net을 제안한다. 이 방법은 보행자 및 차량 조합 작업에서 정성적 및 정량적 평가에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Dealing with the inconsistency between a foreground object and a background image is a challenging task in high-fidelity image composition. State-of-the-art methods strive to harmonize the composed image by adapting the style of foreground objects to be compatible with the background image, whereas the potential shadow of foreground objects within the composed image which is critical to the composition realism is largely neglected. In this paper, we propose an Adversarial Image Composition Net (AIC-Net) that achieves realistic image composition by considering potential shadows that the foreground object projects in the composed image. A novel branched generation mechanism is proposed, which disentangles the generation of shadows and the transfer of foreground styles for optimal accomplishment of the two tasks simultaneously. A differentiable spatial transformation module is designed which bridges the local harmonization and the global harmonization to achieve their joint optimization effectively. Extensive experiments on pedestrian and car composition tasks show that the proposed AIC-Net achieves superior composition performance qualitatively and quantitatively.

연구 동기 및 목표

• 기존의 이미지 조합 방법은 스타일 조화화의 진전에도 불구하고 현실적인 그림자 효과가 부족하여 시각적 정밀도가 떨어지는 문제를 해결하기 위해.
• 통합된 프레임워크 내에서 그림자 생성과 스타일 전이를 분리하여 동시에 최적화할 수 있도록 하기 위해.
• 배경에서 조명 방향과 강도를 추정하는 보조 조명 모델을 활용하여 적응적이고 맥락 인식 그림자 합성을 가능하게 하기 위해.
• 국소 및 전역 조화 간의 정렬을 향상시키기 위해 미분 가능 공간 변환기 모듈을 도입하여 국소-전역 최적화를 통합하기 위해.
• 질감과 경계 무결성을 유지하면서 고해상도이고 아티팩트가 없는 이미지 조합을 달성하기 위해.

제안 방법

• AIC-Net은 전경 스타일 생성과 투영 그림자 생성을 분리함으로써 독립적이고도 조율된 최적화를 가능하게 하는 분기형 생성자 아키텍처를 사용한다.
• 보조 조명 모델은 배경 이미지에서 조명 조건(예: 방향, 강도)을 추정하여 현실적인 그림자 합성을 안내한다.
• 미분 가능 공간 변환기 모듈은 국소 조화 결과를 전반적인 배경과 정렬함으로써 국소 및 전역 일관성의 공동 최적화를 가능하게 한다.
• 두 개의 판별자 사용: 국소 판별자는 전경 영역의 현실성(스타일 및 그림자)을 평가하고, 전역 판별자는 전체 이미지의 일관성과 조합 품질을 평가한다.
• 생성자는 GAN 손실을 기반으로 적대적으로 훈련되며, 질감 유지 및 아티팩트 감소를 위해 추가로 인지적 손실과 L1 손실이 사용된다.
• 스타일 전이 중 질감의 정밀도를 향상시키기 위해 가이드드 피처 필터를 적용하여 흐림 현상과 세부 정보 손실을 방지한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 이미지 조합에서 스타일 전이와 그림자 생성을 효과적으로 분리하고 동시에 최적화할 수 있는가?
• RQ2 보조 조명 모델을 통합함으로써 생성된 그림자의 현실감과 적응성은 어떻게 향상되는가?
• RQ3 미분 가능 공간 변환기는 조합된 이미지에서 국소와 전역 조화 간의 정렬을 얼마나 향상시키는가?
• RQ4 분기형 생성자, 조명 모델, 공간 변환기와 같은 개별 구성 요소가 제거된 변형 대비 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 모델은 그림자 구조에 대한 명시적 지도 없이 다양한 조명 환경과 객체 유형으로 일반화 가능한가?

주요 결과

• AIC-Net은 전역 조화에서 FID 점수 81.8, 국소 조화에서 90.8을 기록하여 모든 아블레이션 변형보다 뚜렷이 뛰어난 성능을 보였다.
• AMT 사용자 연구 결과, AIC-Net이 생성한 전역 조화 이미지 중 29%가 가장 현실적으로 평가되었으며, 모든 아블레이션 모델을 초월했다.
• 아블레이션 연구 결과, 조명 모델을 제거한 AIC-Net(WI)의 경우 AMT 점수가 17%로 떨어져, 현실적인 그림자 합성에서 이 모델의 핵심적 역할을 확인했다.
• 공간 변환기 모듈은 전역 일관성 유지를 위해 필수적이며, 이를 제거한 AIC-Net(WS)는 전역 FID가 10점 하락하고 AMT 점수도 13% 감소시켰다.
• 비분기형 기반 모델 대비 분기형 생성 메커니즘이 FID와 AMT에서 각각 5% 향상시켜, 작업 분리의 효과성을 입증했다.
• 가이드드 피처 필터는 질감 열화를 감소시키며, 이를 제거했을 경우 기준 모델 대비 MS 점수에서 10% 향상됨을 확인했다.