[논문 리뷰] Cascade Attention Guided Residue Learning GAN for Cross-Modal Translation

Bin Duan, Wei Wang외 3명|arXiv (Cornell University)|2019. 07. 03.

Music and Audio Processing참고 문헌 39인용 수 7

한 줄 요약

이 논문은 교차 모odal 오디오-이미지 번역을 위한 두 단계형 캐스케이드 어텐션 유도 GAN인 CAR-GAN을 제안한다. 임의의 노이즈 대신 클래스 예측에서 유도된 의미적 잔차 레이블을 사용함으로써 모델은 이미지 생성을 점진적으로 정교화한다. 기준 모델 대비 Sub-URMP 데이터셋에서 FID 점수를 45.44% 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Since we were babies, we intuitively develop the ability to correlate the input from different cognitive sensors such as vision, audio, and text. However, in machine learning, this cross-modal learning is a nontrivial task because different modalities have no homogeneous properties. Previous works discover that there should be bridges among different modalities. From neurology and psychology perspective, humans have the capacity to link one modality with another one, e.g., associating a picture of a bird with the only hearing of its singing and vice versa. Is it possible for machine learning algorithms to recover the scene given the audio signal? In this paper, we propose a novel Cascade Attention-Guided Residue GAN (CAR-GAN), aiming at reconstructing the scenes given the corresponding audio signals. Particularly, we present a residue module to mitigate the gap between different modalities progressively. Moreover, a cascade attention guided network with a novel classification loss function is designed to tackle the cross-modal learning task. Our model keeps the consistency in high-level semantic label domain and is able to balance two different modalities. The experimental results demonstrate that our model achieves the state-of-the-art cross-modal audio-visual generation on the challenging Sub-URMP dataset. Code will be available at https://github.com/tuffr5/CAR-GAN.

연구 동기 및 목표

• 교차 모달 생성에서 오디오와 이미지 모달 간의 큰 의미적 및 표현 갭을 해결하기 위해.
• 임의의 잠재 벡터에 대한 의존도를 제거하기 위해 점진적 정교화를 위한 의미적 잔차 모듈을 도입하기 위해.
• 공동 분류 손실을 사용하여 오디오와 생성된 이미지 모달 간의 고수준 의미 일관성을 유지하기 위해.
• 자기 어텐션 메커니즘을 통합한 두 단계 생성자 아키텍처를 통해 이미지의 현실성과 세부 사항을 향상시키기 위해.
• 도전적인 Sub-URMP 데이터셋에서 오디오-이미지 번역 분야에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 두 단계 생성자 아키텍처: 첫 번째 생성자(G₁)는 오디오 Log-Mel 스펙트로그램(LMS)과 클래스 레이블에서 군더미 이미지를 생성하고, 두 번째 생성자(G₂)는 잔차 모듈을 사용하여 이를 정교화한다.
• 잔차 모듈은 군더미 이미지의 예측 클래스와 실제 오디오 클래스 간의 의미적 차이를 계산하여 잔차 레이블 Lᵣ를 생성한다.
• 자기 어텐션 메커니즘이 두 생성자와 판별자에 통합되어 특징 간의 장거리 공간적 종속성을 모델링한다.
• 고유한 캐스케이드 분류 손실(ℒc)이 두 단계 모두에 적용되어 고수준 레이블 공간에서 의미 일관성을 강제한다.
• 모델은 적대적 손실, L1 재구성 손실, 그리고 제안된 분류 손실을 사용하여 엔드 투 엔드로 훈련된다.
• 잔차 모듈은 첫 번째 단계 출력에서 누락되거나 잘못된 의미적 특징에 집중함으로써 점진적 정교화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 의미적 잔차 학습을 통한 두 단계형 GAN이 단일 단계 모델을 초월하여 오디오-이미지 번역 성능을 향상시킬 수 있는가?
• RQ2 임의의 잠재 벡터를 학습된 의미적 잔차 레이블로 대체할 경우 생성 품질에 어떤 영향을 미치는가?
• RQ3 캐스케이드 어텐션 메커니즘이 교차 모달 번역에서 특징 표현과 이미지 세부 사항을 얼마나 향상시키는가?
• RQ4 공동 분류 손실이 교차 모달 GAN에서 의미 일관성을 향상시키고 모드 붕괴를 줄이는 데 기여하는가?
• RQ5 제안된 방법은 Sub-URMP 벤치마크에서 최신 기술 수준의 접근 방식과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 CAR-GAN은 잔차 모듈이 없는 기준 모델 대비 FID 점수를 45.44% 향상시켰다.
• 기준 모델 대비 Inception Score(IS)가 84.45% 향상되어 생성된 이미지의 품질과 다양성이 높아짐을 나타낸다.
• 분류 손실(ℒc)을 제거할 경우 FID 성능이 37.56% 감소하여 그 의미 지도 기능이 확인되었다.
• 두 단계 생성 전략은 단일 생성자 설정 대비 FID를 32.53% 향상시키고 IS를 2.59% 향상시켰다.
• 제거 실험 결과, 어텐션 메커니즘이 특징 표현을 향상시켜 생성된 이미지의 누락된 세부 사항을 줄이는 데 기여함을 확인했다.
• L1 정규화는 훈련을 안정화시키며, 다양한 L1 가중치 설정에서도 성능이 유사하게 유지되어 과적합이 발생하지 않음을 시사한다.