[논문 리뷰] Towards Audio to Scene Image Synthesis using Generative Adversarial Network

Chia-Hung Wan, Shun-Po Chuang외 1명|arXiv (Cornell University)|2018. 08. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 3

한 줄 요약

이 논문은 스펙트럼 정규화, 프로젝션 판별자, 힌지 손실, 보조 분류기를 활용하여 이미지 품질과 의미적 일치도를 향상시키기 위해 청각 입력에서 시각적 장면 이미지를 합성하는 조건부 생성 적대적 네트워크(cGAN)를 제안한다. 이 모델은 최신 기술 수준의 Inception 점수 2.83을 달성했으며, 생성된 이미지와 입력 사운드 간의 인간 평가 상관관계가 높아 참가자의 73%가 이미지를 청각에 관련 있다고 선택하였다.

ABSTRACT

Humans can imagine a scene from a sound. We want machines to do so by using conditional generative adversarial networks (GANs). By applying the techniques including spectral norm, projection discriminator and auxiliary classifier, compared with naive conditional GAN, the model can generate images with better quality in terms of both subjective and objective evaluations. Almost three-fourth of people agree that our model have the ability to generate images related to sounds. By inputting different volumes of the same sound, our model output different scales of changes based on the volumes, showing that our model truly knows the relationship between sounds and images to some extent.

연구 동기 및 목표

• 청각적 상상력을 모방하여 청각 입력에서 현실적인 장면 이미지를 생성할 수 있는 기계 학습 모델을 개발하는 것.
• 기존 영상 데이터에서 쌍화된 청각-이미지 데이터셋을 생성하여 청각 조건부의 교차 모odal 생성 모델의 부족을 보완하는 것.
• 고급 GAN 훈련 기법을 활용하여 청각-이미지 생성에서 이미지 품질과 의미 일致도를 향상시키는 것.
• 모델이 소리 특성(예: 음량)과 시각적 출력 간의 의미 있는 관계를 학습하는지 평가하는 것.

제안 방법

• 모델은 청각 임베딩을 이미지 생성 조건으로 사용하는 조건부 GAN 프레임워크를 채택한다.
• 훈련 안정성 향상과 생성기 일반화 능력 향상을 위해 스펙트럼 정규화를 적용한다.
• 실제 및 가짜 특징을 공유 공간에 투영함으로써 특징 구분 능력을 향상시키기 위해 프로젝션 판별자를 사용한다.
• GAN 목표 함수의 훈련 안정성과 수렴성을 향상시키기 위해 힌지 손실을 채택한다.
• 특정 청각 클래스와 일치하는 이미지를 생성하도록 생성기를 유도하기 위해 보조 분류기를 통합한다.
• 사전 학습된 이미지 및 청각 분류 모델을 사용하여 SoundNet 데이터셋에서 정제된 데이터셋을 구성하여 관련 있는 청각-소리 세그먼트와 해당 영상 프레임을 필터링하고 쌍화한다.

실험 결과

연구 질문

• RQ1 조건부 GAN은 청각 입력에서 현실적이고 의미적으로 관련된 장면 이미지를 생성할 수 있는가?
• RQ2 스펙트럼 정규화 및 프로젝션 판별자와 같은 고급 GAN 기법은 청각-이미지 합성에서 이미지 품질과 다양성을 향상시키는가?
• RQ3 모델은 소리의 음량에 따라 이미지 콘텐츠를 조절하는가? 이는 소리 강도를 이해하고 있음을 시사하는가?
• RQ4 인간 평가자들은 생성된 이미지와 입력 사운드 간의 상관관계를 얼마나 잘 인지하는가?

주요 결과

• 제안된 모델은 Inception 점수 2.83을 달성하여 베이스라인 조건부 GAN을 크게 능가했으며, 상한선 4.44에 가까워졌다.
• 인간 평가 결과, 모든 고급 기법을 적용한 모델은 평균 3.70점(5점 만점)을 기록하여 강한 현실감과 관련성 인식을 보였다.
• 참가자의 73%가 听음한 소리에서 생성된 이미지를 정확히 선택하여 모델이 의미적으로 관련된 출력을 생성할 수 있음을 입증했다.
• 동일한 소리를 다른 음량 수준으로 입력했을 때, 모델은 해당 크기 변화에 대응하는 이미지를 생성했으며, 이는 청각 강도에 대한 학습된 민감도를 시사한다.
• 제거 실험 결과, 각 고급 기법(예: 프로젝션 판별자, 보조 분류기)이 이미지 품질 향상과 인간 인식 향상에 점진적으로 기여하는 것으로 확인되었다.