[논문 리뷰] Themes Informed Audio-visual Correspondence Learning

Runze Su, Fei Tao외 7명|arXiv (Cornell University)|2020. 09. 14.

Subtitles and Audiovisual Media인용 수 5

한 줄 요약

이 논문은 비디오 태그를 통해 주제 정보를 통합함으로써 짧은 사용자 생성 영상에서 대응 학습을 향상시키는 테마 정보 기반 음성-시각 대응(Ti-AVC) 학습 프레임워크를 제안한다. 주제 예측과 음성-시각 매칭을 공동으로 모델링함으로써, 85,432개의 짧은 광고 영상으로 구성된 새로 공개된 KWAI-AD-AudVis 데이터셋에서 최신 기준 대비 23.15%p의 절대 AUC 향상을 달성한다.

ABSTRACT

The applications of short-term user-generated video (UGV), such as Snapchat, and Youtube short-term videos, booms recently, raising lots of multimodal machine learning tasks. Among them, learning the correspondence between audio and visual information from videos is a challenging one. Most previous work of the audio-visual correspondence(AVC) learning only investigated constrained videos or simple settings, which may not fit the application of UGV. In this paper, we proposed new principles for AVC and introduced a new framework to set sight of videos' themes to facilitate AVC learning. We also released the KWAI-AD-AudVis corpus which contained 85432 short advertisement videos (around 913 hours) made by users. We evaluated our proposed approach on this corpus, and it was able to outperform the baseline by 23.15% absolute difference.

연구 동기 및 목표

• 제한 없는 짧은 사용자 생성 영상(UGVs)에서 기존 음성-시각 대응(AVC) 방법의 한계를 해결하기 위해.
• 단순한 유사도를 넘어서 의미론적 주제와 모달 간 관계를 고려한 AVC의 새로운 원칙을 제안하기 위해.
• 비디오 태그를 간접 주제 감독으로 사용하여 주제 정보를 AVC 학습에 통합하는 유연한 프레임워크를 개발하기 위해.
• 짧은 광고 영상용으로 처음으로 대규모이며 콘텐츠 기반으로 분류된 음성-시각 데이터셋인 KWAI-AD-AudVis 데이터셋을 수집하고 공개하기 위해.
• 테마 정보 기반 학습이 복잡한 실제 UGV 환경에서 AVC 성능을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 모달 임베딩에서 주제를 예측하는 주제 학습(TL) 브랜치와 음성 및 시각 입력을 매칭하는 대응 학습(CL) 브랜치로 구성된 이중 스트림 프레임워크를 제안한다.
• 주제 표현을 위한 간접 감독으로 비디오 태그를 사용하여, 주제가 다양한 모달 간에 어떻게 전달되는지 모델이 학습할 수 있도록 한다.
• CL 브랜치가 모달 임베딩과 예측/참고 주제 레이블 양쪽에 조건부로 설정된 공동 학습 전략을 적용한다.
• 입력 모달의 중요도를 정량화하기 위해 제1층 가중치의 절대값을 사용한 가중치 기여도 분석을 수행한다 (식 1).
• TL 모델을 고정하고 주제 레이블을 어느 모달에서든 유도할 수 있는 탄력적인 추론 설정을 도입한다.
• 테마 인식 감독 하에 구분 가능한 음성-시각 임베딩을 학습하기 위해 시아미즈 유사 구조와 대비 손실을 적용한다.

실험 결과

연구 질문

• RQ1 제한 없는 짧은 사용자 생성 영상에서 주제 정보를 통합하면 음성-시각 대응 학습이 향상되는가?
• RQ2 주제를 고려하지 않는 기준 방법에 비해 제안된 테마 정보 기반 프레임워크는 어떻게 비교되는가?
• RQ3 주제 정보가 모델이 올바른 음성-시각 쌍을 구별하는 데 얼마나 기여하는가?
• RQ4 추론 시 주제 정보가 제공되지 않을 경우에도 프레임워크의 성능 유지 여부는 어떠한가?
• RQ5 다양한 모달(음성, 시각, 예측/참고 주제)이 최종 대응 결정에 각각 얼마나 기여하는가?

주요 결과

• 제안된 Ti-AVC 프레임워크는 KWAI-AD-AudVis 데이터셋에서 최신 기준 대비 23.15%p의 절대 AUC 향상을 달성하여 AUC 78.73%를 기록했다 (기준: 55.58%).
• 주제를 입력으로 포함한 기준(Baseline-2)이 주제 간섭 없는 기준보다 18.94% 향상되어 주제 감독의 중요성을 입증했다.
• 실제로 참조 주제 정보가 추론 시 제공되지 않더라도 Ti-AVC는 19개 주제 카테고리 중 15개에서 기준을 초월하여 강건성을 입증했다.
• 음성 모달이 최종 예측에 가장 큰 기여도를 보였다 (58.78%), 이어서 시각(30.85%), 참조 주제(5.86%), 예측 주제(4.52%) 순이었다.
• 기여도 분석 결과 주제 신호와 모달 신호 모두가 필수적임을 확인하여 제안된 주제 일관성 및 모달 관계 원칙을 지지했다.
• TL 모델를 고정하고 어느 모달에서든 주제 레이블을 유도할 수 있는 프레임워크의 탄력성은 실제 적용 가능성을 검증했다.