[논문 리뷰] On Attention Modules for Audio-Visual Synchronization

Naji Khosravan, Shervin Ardeshir외 1명|arXiv (Cornell University)|2018. 12. 14.

Music and Audio Processing참고 문헌 15인용 수 4

한 줄 요약

이 논문은 비디오에서 음성-영상 동기화 검출을 향상시키기 위해 시공간적 및 시간적 어텐션 모듈을 제안한다. 이는 정보가 적은 콘텐츠를 무시하고, 구분력 있는 시각적 영역(예: 입술, 소리를 내는 물체)에 초점을 맞춘다. 이 방법은 최신 기술 수준의 정확도를 달성하였으며, 일반 소리 클래스에서 9.8% 향상되고, 발화 클래스에서 베이스라인 대비 8.7% 향상되었다. 시공간 어텐션을 사용할 경우.

ABSTRACT

With the development of media and networking technologies, multimedia applications ranging from feature presentation in a cinema setting to video on demand to interactive video conferencing are in great demand. Good synchronization between audio and video modalities is a key factor towards defining the quality of a multimedia presentation. The audio and visual signals of a multimedia presentation are commonly managed by independent workflows - they are often separately authored, processed, stored and even delivered to the playback system. This opens up the possibility of temporal misalignment between the two modalities - such a tendency is often more pronounced in the case of produced content (such as movies). To judge whether audio and video signals of a multimedia presentation are synchronized, we as humans often pay close attention to discriminative spatio-temporal blocks of the video (e.g. synchronizing the lip movement with the utterance of words, or the sound of a bouncing ball at the moment it hits the ground). At the same time, we ignore large portions of the video in which no discriminative sounds exist (e.g. background music playing in a movie). Inspired by this observation, we study leveraging attention modules for automatically detecting audio-visual synchronization. We propose neural network based attention modules, capable of weighting different portions (spatio-temporal blocks) of the video based on their respective discriminative power. Our experiments indicate that incorporating attention modules yields state-of-the-art results for the audio-visual synchronization classification problem.

연구 동기 및 목표

• 전문적으로 제작된 영상(예: 영화)과 같은 미디어 콘텐츠에서 음성과 영상 간의 시간적 불일치 문제를 해결한다.
• 자신들만의 특징을 가진 시공간 영상 블록을 자동으로 식별하고 가중치를 매기는 신경망 모듈을 개발한다.
• 인간의 관련 시각적 및 听각적 자극 인식 방식을 모방하는 어텐션 메커니즘을 활용하여 음성-영상 동기화의 이진 분류 성능을 향상시킨다.
• 표준 컨볼루션 네트워크를 초월하여 어텐션 메커니즘이 동기화 검출 성능 향상에 기여하는지 평가한다.

제안 방법

• 동기화된 및 비동기화된 영상-음성 쌍을 사용하여, 완전 컨볼루션 신경망을 학습시켜 음성-영상 동기화 여부를 양성 또는 부정으로 분류한다.
• 시간 어텐션 모듈은 영상의 다양한 시간 세그먼트에 가중치를 할당하여, 발화나 소리 이벤트와 같은 높은 구분력 있는 내용이 포함된 순간에 초점을 맞춘다.
• 시공간 어텐션 모듈은 각 시간 세그먼트 내에서 특정 공간 영역(예: 얼굴, 물체)에 더 높은 가중치를 할당하여 더 정교한 초점을 가능하게 한다.
• 어텐션 가중치는 학습 기간 동안 엔드 투 엔드로 학습되며, 이로써 네트워크는 음성-영상 일치 신호에 따라 유의미한 영상 블록을 동적으로 우선순위를 정할 수 있다.
• 백본 네트워크의 특징 맵은 다층 퍼셉트론을 사용하여 소프트 어텐션 가중치를 계산하는 학습 가능한 어텐션 메커니즘을 통과한다.
• 최종 예측은 시간과 공간에 걸쳐 가중치가 할당된 특징을 집계하여 수행되며, 이는 동기화 및 비동기화 클래스 간의 결정 경계 분리 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 어텐션 메커니즘이 영상의 음성-영상 동기화 분류 정확도를 향상시킬 수 있는가?
• RQ2 시간적 어텐션만 사용하는 것과 비교해 시공간 어텐션 모듈이 음성-영상 일치 검출에서 더 우수한 성능을 보이는가?
• RQ3 어텐션 모듈이 인간처럼 입술 움직임이나 물체 상호작용과 같은 구분력 있는 시각적 자극에 초점을 맞출 수 있는가?
• RQ4 어텐션 기반 특징 가중치는 양성(동기화) 및 부정(비동기화) 예측 분포 간의 분리 정도에 어떤 영향을 미치는가?

주요 결과

• 시공간 어텐션 모듈은 일반 소리 클래스에서 기준 모델 대비 9.8%p의 절대 정확도 향상을 달성하였다.
• 발화 클래스에서 시공간 어텐션 모델은 80.3%의 정확도를 기록하였으며, 시간 어텐션 대비 3.8%p 향상되고 기준 모델 대비 8.7%p 향상되었다.
• 시각화 결과 어텐션 모듈이 발화나 소리 이벤트와 같은 구분력 있는 이벤트(예: 신발이 땅을 두드리거나, 말하는 사람의 입술이 음성과 동기화되어 움직이는 것)에 대해 높은 가중치 영역을 정확히 국소화하고 있음을 보여주었다.
• 어텐션 기반 모델의 예측 점수 분포는 기준 모델 대비 동기화 및 비동기화 예제 간의 분리 정도가 뚜렷하여, 더 높은 결정 신뢰도를 보였다.
• 시간 어텐션만으로도 기준 모델 대비 성능 향상이 있었지만, 시공간 어텐션은 공간적 국소화를 추가로 통합함으로써 더 큰 성능 향상을 이끌어냈다.
• 모델의 어텐션 행동은 인간의 인지 방식과 일치하며, 시간적·공간적으로 국소화된 음성-영상 이벤트에 초점을 맞추고 배경이나 비정보성 콘텐츠는 억제하고 있었다.