[논문 리뷰] STGAN: A Unified Selective Transfer Network for Arbitrary Image Attribute Editing

Ming Liu, Yukang Ding외 5명|arXiv (Cornell University)|2019. 04. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 20

한 줄 요약

STGAN은 전체 타겟 벡터 대신 타겟 및 소스 속성 벡터 간의 차이를 입력으로 사용하여 훈련 안정성을 향상시키고 관련 속성에 집중함으로써 임의의 이미지 속성 편집을 위한 통합 선택적 전달 네트워크를 제안한다. 이는 선택적 전달 유닛(Selective Transfer Units, STUs)을 도입하여 인코더 특징을 적응적으로 수정함으로써 속성 조작 정확도와 이미지 품질을 향상시키며, 얼굴 속성 편집 및 계절 번역 작업에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

Arbitrary attribute editing generally can be tackled by incorporating encoder-decoder and generative adversarial networks. However, the bottleneck layer in encoder-decoder usually gives rise to blurry and low quality editing result. And adding skip connections improves image quality at the cost of weakened attribute manipulation ability. Moreover, existing methods exploit target attribute vector to guide the flexible translation to desired target domain. In this work, we suggest to address these issues from selective transfer perspective. Considering that specific editing task is certainly only related to the changed attributes instead of all target attributes, our model selectively takes the difference between target and source attribute vectors as input. Furthermore, selective transfer units are incorporated with encoder-decoder to adaptively select and modify encoder feature for enhanced attribute editing. Experiments show that our method (i.e., STGAN) simultaneously improves attribute manipulation accuracy as well as perception quality, and performs favorably against state-of-the-arts in arbitrary facial attribute editing and season translation.

연구 동기 및 목표

• 속성 편집에서 이미지 품질과 속성 조작 능력 간의 상충 관계를 해결하기 위해.
• 전체 타겟 속성 벡터가 이미지 복원 및 시각적 정밀도에 악영향을 미치는 것을 줄이기 위해.
• 변경된 속성에만 집중하여 임의의 속성 편집의 유연성과 정확도를 향상시키기 위해.
• 지역적 및 전역적 속성 편집을 효과적으로 처리할 수 있는 통합 모델을 개발하기 위해.
• 인코더-디코더 레이어 간의 훈련 안정성과 특징 일관성을 향상시키기 위해.

제안 방법

• 전체 타겟 벡터 대신 타겟 및 소스 속성 간의 차이 벡터를 입력하여 관련 없는 가이던스를 줄이기 위해.
• 각 인코더-디코더 레이어에 선택적 전달 유닛(Selective Transfer Units, STUs)을 도입하여 차이 벡터와 내부 상태에 기반해 인코더 특징을 적응적으로 선택하고 수정하기 위해.
• 인코더 특징, 내부 상태, 그리고 차이 속성 벡터를 조합하는 학습 가능한 메커니즘을 사용하여 작업에 특화된 특징 수정을 생성하기 위해.
• 수정된 인코더 특징을 디코더 특징과 연결하여 공간적 세부 정보를 유지하고 복원 성능을 향상시키기 위해.
• 스킵 연결을 갖춘 표준 인코더-디코더 프레임워크에 STUs를 통합하여 높은 지각적 품질을 유지하기 위해.
• 실제적이고 정확한 편집을 보장하기 위해 adversarial loss, reconstruction loss, identity loss를 사용해 모델을 훈련시키기 위해.

실험 결과

연구 질문

• RQ1 소스 및 타겟 속성 간의 차이 벡터를 전체 타겟 벡터 대신 사용할 경우, 이미지 복원 성능 향상과 시각적 잡음 감소에 기여할 수 있는가?
• RQ2 STUs를 통한 선택적 특징 수정이 동시에 속성 조작 정확도 향상과 이미지 품질 향상에 기여할 수 있는가?
• RQ3 성능 트레이드오프 측면에서 선택적 전달 메커니즘은 기존의 표준 스킵 연결과 비교해 어떻게 성능을 냅니다?
• RQ4 STU 메커니즘은 전역적 및 세부적인 속성 유형을 포함한 다양한 속성 유형에 대해 일반화 능력을 향상시키는가?
• RQ5 모델은 각 속성 쌍에 대한 쌍체 훈련 데이터 없이도 고품질의 편집을 달성할 수 있는가?

주요 결과

• STGAN은 CelebA 데이터셋에서 AttGAN, StarGAN, CycleGAN에 비해 뛰어난 속성 생성 정확도를 달성했으며, '성별'과 '나이'와 같은 전역 속성에서 두드러진 성과를 보였다.
• 차이 속성 벡터 사용 시, 속성이 변경되지 않은 경우조차도 더 나은 이미지 복원과 시각적 열화 감소를 경험했다.
• STGAN-dst(전체 타겟 벡터 사용)는 STGAN보다 성능이 열 劣하므로, 속성 차이에 집중하는 것이 유의미한 이점을 제공함을 확인했다.
• STU 변종은 컨볼루션 및 GRU 기반 대안보다 뛰어난 성능을 보였으며, STGAN-res는 STGAN에 비해 향상되지 않았음을 확인해 STUs가 선택적 특징 조절에 이미 최적임을 시사했다.
• 사용자 연구 결과, STGAN은 경쟁 방법 대비 50% 이상의 비교에서 승리했으며, 강력한 지각적 품질과 현실감을 보임을 시사했다.
• 정성적 결과는 최소한의 잡음과 일관된 속성 전달을 보이며 고해상도(384×384)의 사진 수준의 현실감 있는 편집 결과를 보여주었다.