[논문 리뷰] Ranking CGANs: Subjective Control over Semantic Image Attributes

Yassir Saquil, Kwang In Kim외 1명|arXiv (Cornell University)|2018. 04. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 14

한 줄 요약

RankCGAN는 쌍별 인간 비교를 사용하여 의미적 이미지 속성에 대해 주관적이고 연속적인 제어를 가능하게 하는 새로운 조건부 GAN 아키텍처입니다. 디스크림네이터와 함께 랭킹 헤드를 도입함으로써, '스포티한' 또는 '웃는'과 같은 연속적인 주관적 척도를 따라 이미지를 생성하면서도 이미지 품질을 유지하고 다중 속성을 분리하여, 세밀한 제어가 가능한 속성 편집 및 전이 응용을 가능하게 합니다.

ABSTRACT

In this paper, we investigate the use of generative adversarial networks in the task of image generation according to subjective measures of semantic attributes. Unlike the standard (CGAN) that generates images from discrete categorical labels, our architecture handles both continuous and discrete scales. Given pairwise comparisons of images, our model, called RankCGAN, performs two tasks: it learns to rank images using a subjective measure; and it learns a generative model that can be controlled by that measure. RankCGAN associates each subjective measure of interest to a distinct dimension of some latent space. We perform experiments on UT-Zap50K, PubFig and OSR datasets and demonstrate that the model is expressive and diverse enough to conduct two-attribute exploration and image editing.

연구 동기 및 목표

• 이미지 생성에서 수학적으로 명확히 정의되지 않은 주관적이고 연속적인 의미적 속성을 모델링하는 도전에 대응하는 것.
• 이진 온오프 제어가 아닌 '더 스포티한' 또는 '덜 웃는'과 같은 세밀한 연속적 제어를 가능하게 하는 것.
• 전체 순위 또는 고밀도 레이블링이 필요 없이, 오직 쌍별 이미지 비교를 사용하여 생성 모델을 훈련시키는 것.
• 이미지 품질과 다양성을 유지하면서도 잠재 공간에서 다중 의미적 속성을 분리하는 것.
• 속성 기반 이미지 편집 및 의미적 속성 전이와 같은 실용적 응용을 지원하는 것.

제안 방법

• 표준 디스크림네이터(진위 분류용)와 주관적 이미지 순서를 예측하는 랭킹 헤드를 함께 갖춘 이중 헤드 아키텍처를 가진 조건부 GAN인 RankCGAN을 도입합니다.
• 예: '이미지 A는 이미지 B보다 더 스포티하다'와 같은 쌍별 인간 레이블 비교를 사용하여 랭킹 헤드를 훈련시어, 모델이 연속적인 주관적 척도를 학습할 수 있도록 합니다.
• 잠재 공간을 두 부분으로 분해합니다: 이미지 다양성에 사용하는 랜덤 노이즈 벡터 z와 주관적 속성 강도를 위한 제어 변수 r.
• z와 r에 조건부로 이미지를 생성하는 공유 생성자(generator)를 사용하여, r이 주관적 속성 강도를 연속적으로 조절할 수 있도록 합니다.
• 디스크림네이터에 대해 적대적 손실을, 랭커에 대해 랭킹 손실(예: 쌍별 마진 손실)을 사용하여 모델을 엔드 투 엔드로 훈련시킵니다.
• 실제 이미지에서 주관적 속성 강도 r를 추론하기 위해 인코더 E_r를 사용하여, 이미지 편집 및 속성 전이와 같은 후행 작업을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 전체 순위 또는 고밀도 레이블링이 필요 없이, GAN 기반 모델이 주관적이고 연속적인 의미적 속성 표현을 학습할 수 있는가?
• RQ2 모델은 주관적 속성 척도(예: '더 스타일리시한' 또는 '더 남성스러운')를 따라 부드럽게 변화하는 다양한 현실적인 이미지를 생성할 수 있는가?
• RQ3 잠재 공간에서 다수의 주관적 속성을 독립적으로 분리하고 제어할 수 있는가?
• RQ4 모델은 오직 쌍별 비교만을 사용하여 이미지 편집 및 속성 전이와 같은 실용적 응용을 지원할 수 있는가?
• RQ5 표준 CGAN에 비해 랭킹 헤드를 추가함으로써 속성 강도에 대한 제어가 향상되는가?

주요 결과

• RankCGAN는 UT-Zap50K, PubFig, OSR 등 여러 데이터셋에서 '스포티한'이나 '남성스러운'과 같은 주관적이고 분리된 의미적 속성 표현을 성공적으로 학습합니다.
• 모델은 주관적 속성 척도를 따라 부드럽게 변화하는 이미지를 생성하며, 급격한 변화 없이 효과적인 속성 강도 제어를 보여줍니다.
• 이미지 편집 실험에서 z를 그대로 유지하고 오직 속성 제어 변수 r만을 변화시킴으로써 자연스럽고 인지적으로 의미 있는 전이(예: 더 덜 스포티하거나 더 웃는)가 가능함을 확인했습니다.
• 속성 전이 작업에서는 소스 이미지에서 주관적 강도를 추출하여 목표 이미지에 적용할 수 있었으며, 목표 이미지가 중립이 아니더라도 성공적으로 적용되었습니다.
• 전체 순위 또는 완전한 속성 레이블링이 필요 없이도 쌍별 비교 레이블링만으로도 뛰어난 성능을 달성했습니다.
• 정성적 결과에서는 생성된 이미지가 높은 현실성과 다양성을 유지하며, 일차원 및 이차원 속성 공간 모두에서 속성 진행이 인지적으로 일관성을 유지하고 있음을 확인했습니다.