[논문 리뷰] Look, Listen and Learn

Relja Arandjelović, Andrew Zisserman|arXiv (Cornell University)|2017. 05. 23.

Speech and Audio Processing인용 수 6

한 줄 요약

이 논문은 트림되지 않은, 레이블이 없는 비디오만을 사용하여 시각 및 청각 네트워크를 처음부터 학습하는 자기지도 학습 음성-시각 대응(авс) 학습 프레임워크를 제안한다. 비디오 프레임과 음성 클립이 시간적으로 대응하는지를 예측함으로써 모델은 강력하고 의미 있는 표현을 학습하게 되며, 이는 음성 분류 벤치마크에서 최신 기술 수준의 성능을 달성하고, 양 모odal에서 세분화된 인식 및 국소화를 가능하게 한다.

ABSTRACT

We consider the question: what can be learnt by looking at and listening to a large number of unlabelled videos? There is a valuable, but so far untapped, source of information contained in the video itself -- the correspondence between the visual and the audio streams, and we introduce a novel "Audio-Visual Correspondence" learning task that makes use of this. Training visual and audio networks from scratch, without any additional supervision other than the raw unconstrained videos themselves, is shown to successfully solve this task, and, more interestingly, result in good visual and audio representations. These features set the new state-of-the-art on two sound classification benchmarks, and perform on par with the state-of-the-art self-supervised approaches on ImageNet classification. We also demonstrate that the network is able to localize objects in both modalities, as well as perform fine-grained recognition tasks.

연구 동기 및 목표

• 레이블이 없는 비디오를 사용하여 음성-시각 대응을 통해 풍부한 시각 및 청각 표현을 학습할 수 있는지 조사한다.
• 시각 및 청각 네트워크를 처음부터 엔드 투 엔드로 훈련하는 것이 사전에 훈련된 시각 네트워크를 고정하는 방법보다 우수한 성능을 내는지 탐색한다.
• 학습된 표현이 세분화된 인식 및 국소화 작업을 지원하는지 평가한다.
• 자기지도 학습을 통해 AVC를 통해 얻은 성능이 후행 작업에서 감독 학습 및 대비 자기지도 학습 방법과 비교해도 열등하지 않거나 이를 초월할 수 있음을 보여준다.

제안 방법

• 이 방법은 이진 분류 작업을 정의한다: 비디오 프레임과 짧은 음성 클립이 동일한 순간에 대응하는지 여부를 판단한다.
• 시마이즈 스타일의 네트워크 아키텍처를 사용하며, 별도의 시각 및 청각 타워 인코더(시각은 ResNet-50, 청각은 CNN)를 사용하고, 이후 융합 레이어와 분류기가 이어진다.
• 양성 쌍은 동일한 비디오에서 동일한 타임스탬프에서 샘플링된다; 음성 쌍은 서로 다른 비디오의 프레임과 음성을 혼합하여 형성된다.
• 클래스 레이블이나 추가적인 감독 없이도 교차 엔트로피 손실을 사용하여 대응 예측 작업에서 엔드 투 엔드로 모델을 훈련시킨다.
• 후행 평가를 위해 시각 및 청각 타워의 최종 레이어에서 추출한 특징 임베딩을 사용한다.
• 활성화 시각화를 통해 비디오 프레임에서 음성 소스를 국소화하며, 악기나 손과 같은 관련 영역에 시각적 주의가 집중됨을 확인할 수 있다.

실험 결과

연구 질문

• RQ1 레이블이 없는 비디오에서 음성-시각 대응을 통한 자기지도 학습이 인간이 레이블을 붙이지 않은 상태에서도 고품질의 시각 및 청각 표현을 얻을 수 있는가?
• RQ2 사전에 훈련된 시각 네트워크를 고정하는 방법과는 달리, 시각 및 청각 네트워크를 함께 처음부터 훈련하면 성능이 향상되는가?
• RQ3 학습된 표현이 유사한 악기를 구분하는 것과 같은 세분화된 인식 작업을 지원할 수 있는가?
• RQ4 활성화 맵을 사용해 모델이 시각 프레임에서 음성 이벤트의 소스를 어느 정도 정확하게 국소화할 수 있는가?
• RQ5 학습된 특징의 성능이 후행 벤치마크에서 최신 기술 수준의 자기지도 학습 및 감독 학습 방법과 비교해 어떻게 되는가?

주요 결과

• 청각 네트워크는 두 개의 음성 분류 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 시각적 감독을 사용하는 최근의 방법들을 능가한다.
• 시각 네트워크는 ImageNet 분류에서 최신 기술 수준의 자기지도 학습 방법과 비슷한 성능을 기록한다.
• 모델은 베이스 기타와 아コース틱 기타 사이, 색소폰과 클라리넷 사이와 같은 세분화된 시각 및 청각적 차이를 학습한다.
• t-SNE 시각화 결과, 학습된 임베딩이 행동 클래스별로 의미 있는 군집을 형성함을 보여주며, 의미 있는 표현 학습이 이루어졌음을 시사한다.
• 활성화 시각화 결과, 모델이 양 모달에서 음성 소스를 국소화함을 확인할 수 있다. 예를 들어 타이핑 시 손과 키보드, 음악 연주 시 악기를 강조한다.
• k-means를 사용한 L3-Net 임베딩의 클러스터링 결과, 시각의 경우 NMI 점수는 0.409, 청각의 경우 0.330를 기록하였으며, 무작위 기준(0.204 및 0.219)보다 유의미하게 높은 성능을 보였다.