[논문 리뷰] Persuasive Faces: Generating Faces in Advertisements

Christopher Thomas, Adriana Kovashka|arXiv (Cornell University)|2018. 07. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 7

한 줄 요약

이 논문은 예측된 얼굴 특성과 표정을 감독 신호로 사용하여 특정 광고 카테고리에 맞는 얼굴을 생성하는 조건부 변동 자동차오더(CVAE)를 제안한다. 이 방법은 시각적으로 구별되며 주제에 적합한 얼굴을 생성하는 데서 최신의 GAN 기반 기준보다 뛰어나며, 인간 평가 결과에서 다음으로 우수한 방법보다 약 네 배 더 효과적으로 특정 카테고리의 얼굴 외형을 생성하는 것으로 나타났다.

ABSTRACT

In this paper, we examine the visual variability of objects across different ad categories, i.e. what causes an advertisement to be visually persuasive. We focus on modeling and generating faces which appear to come from different types of ads. For example, if faces in beauty ads tend to be women wearing lipstick, a generative model should portray this distinct visual appearance. Training generative models which capture such category-specific differences is challenging because of the highly diverse appearance of faces in ads and the relatively limited amount of available training data. To address these problems, we propose a conditional variational autoencoder which makes use of predicted semantic attributes and facial expressions as a supervisory signal when training. We show how our model can be used to produce visually distinct faces which appear to be from a fixed ad topic category. Our human studies and quantitative and qualitative experiments confirm that our method greatly outperforms a variety of baselines, including two variations of a state-of-the-art generative adversarial network, for transforming faces to be more ad-category appropriate. Finally, we show preliminary generation results for other types of objects, conditioned on an ad topic.

연구 동기 및 목표

• 다양한 광고 카테고리에서 광고의 시각적 특징이 어떻게 설득력 있는지를 조사하는 것.
• 미용, 가정 폭력, 소다 광고 등 특정 광고 주제의 시각적 외형을 반영하는 얼굴을 모델링하고 생성하는 것.
• 광고 전용 얼굴 생성을 위한 제한적이고 다양한 학습 데이터 문제를 얼굴 특성과 표정의 의미적 감독을 통해 해결하는 것.
• 새로운 레이블 없이도 실제적이고 주제에 적합한 얼굴 외형을 생성할 수 있도록, 더 큰 데이터셋에서의 의미 지식을 전이하는 생성 모델을 개발하는 것.
• 얼굴을 초과하여 병, 알코올, 미용, 소다 광고의 병 등 다른 물체로 이 방법을 확장하여 일반화 가능성의 증명

제안 방법

• 광고 얼굴에 대해 훈련된 조건부 변동 자동차오더(CVAE)를 사용하며, 잠재 표현은 예측된 얼굴 특성과 표정에 조건화된다.
• 얼굴 특성 및 표정 분류기는 대규모 데이터셋(예: AffectNet)에서 사전 훈련되어, 예를 들어 립스틱, 슬픔 등의 특성과 표정을 탐지하는 데 사용된다.
• CVAE 인코더는 실제 광고 얼굴를 잠재 공간에 임bedding하고, 모델은 잠재 코드, 예측된 특성 및 표정을 사용하여 이를 재구성한다.
• 추론 시, 모델은 주제별로 특성과 표정의 차이를 학습한 바탕으로 얼굴의 잠재 표현을 수정한 후, 결과를 디코딩하여 목표 광고 카테고리에 적합한 새로운 얼굴을 생성한다.
• 외부 데이터셋에서의 의미 감독을 활용하여 시각적 다양성을 의미 수준으로 승격시켜, 새로운 레이블 없이도 일반화를 가능하게 한다.
• 얼굴 외의 물체(예: 병)로의 응용을 위해 광고 주제에 조건화된 조건부 BEGAN 모델을 사용하여 확장하여, 비얼굴 물체로의 전이 가능성도 입증한다.

실험 결과

연구 질문

• RQ1 미용 광고와 가정 폭력 광고 등 다양한 광고 카테고리에서 얼굴의 시각적 특징는 무엇이 다른가?
• RQ2 제한된 학습 데이터 속에서도 특정 광고 주제에 적합하고 시각적으로 적절한 얼굴을 생성할 수 있도록 생성 모델이 어떻게 학습할 수 있는가?
• RQ3 고수준의 의미 감독(얼굴 특성과 표정)이 픽셀 수준의 GAN보다 생성된 얼굴의 품질과 주제 특이성에서 향상되는가?
• RQ4 모델이 다른 물체(예: 병)를 주제에 맞는 외형으로 생성하는 데 얼마나 일반화될 수 있는가?
• RQ5 다양한 얼굴 생성 방법에서 인간 평가와 분류기 성능은 주제에 적합한 얼굴 생성에 대해 어떻게 비교되는가?

주요 결과

• 우리 방법은 주제에 적합한 얼굴 생성에 대해 인간 선호도 점수 0.606을 기록했으며, 다음으로 우수한 방법(Conditional)의 0.144보다 거의 네 배 높았다.
• 우리 방법에서 생성된 합성 데이터로 훈련된 분류기는 주제 예측 정확도 0.092를 기록했으며, 대부분의 기준보다 뛰어나고, 주제 레이블을 훈련 시에 접근 가능한 StarGAN (Topics)과 유사한 성능을 보였다.
• 잠재변수 전용 기준(Baseline)은 성능이 열악했으며(인간 선호도 0.038), 얼굴 특성과 표정이 광고 주제 간 의미적 차이를 포착하는 데 필수적임을 보여주었다.
• 모델은 같은 얼굴을 다섯 가지 광고 카테고리—미용(메이크업 있음), 가정 폭력(슬픔, 가능하면 멍 어짐), 안전(남성스러움), 소다(행복함), 기타—에 맞게 다른 외형으로 성공적으로 변형하여, 주제에 맞는 시각적 논리적 표현 생성 능력을 확인했다.
• 병에 대한 초도 결과는 모델이 의미 있는 주제별 차이를 학습하고 있음을 보여주었다: 알코올 병은 긴 손잡이를 갖고 있으며, 미용 병은 넓고 짧은 손잡이를 갖고 있고, 소다 병은 특징적인 형태와 레이블을 지닌다.
• 이 방법은 얼굴을 초월하여 일반화되었으며, 조건부 생성 모델이 의미 감독을 통해 광고 내 주제 내 물체의 외형 변화를 학습할 수 있음을 보여주었다.