[논문 리뷰] TriBERT: Full-body Human-centric Audio-visual Representation Learning for Visual Sound Separation

Tanzila Rahman, Mengyu Yang외 1명|arXiv (Cornell University)|2021. 10. 26.

Speech and Audio Processing인용 수 10

한 줄 요약

TriBERT는 시각, 청각 및 인간 자세 키포인트 스트림에서의 연역적 표현을 교차 attention 메커니즘을 사용하여 공동으로 학습하는 삼중모달 트랜스포머 아키텍처이다. MUSIC21 데이터셋에서 약한 감독 및 사운드 소스 분리 목표로 사전 훈련된 TriBERT는 청각-시각적 사운드 소스 분리에서 최고 성능을 기록하며, 하류 작업인 크로스모달 청각-시각-자세 검색에서 최대 66.7%까지 상위-1 정확도를 향상시킨다.

ABSTRACT

The recent success of transformer models in language, such as BERT, has motivated the use of such architectures for multi-modal feature learning and tasks. However, most multi-modal variants (e.g., ViLBERT) have limited themselves to visual-linguistic data. Relatively few have explored its use in audio-visual modalities, and none, to our knowledge, illustrate them in the context of granular audio-visual detection or segmentation tasks such as sound source separation and localization. In this work, we introduce TriBERT -- a transformer-based architecture, inspired by ViLBERT, which enables contextual feature learning across three modalities: vision, pose, and audio, with the use of flexible co-attention. The use of pose keypoints is inspired by recent works that illustrate that such representations can significantly boost performance in many audio-visual scenarios where often one or more persons are responsible for the sound explicitly (e.g., talking) or implicitly (e.g., sound produced as a function of human manipulating an object). From a technical perspective, as part of the TriBERT architecture, we introduce a learned visual tokenization scheme based on spatial attention and leverage weak-supervision to allow granular cross-modal interactions for visual and pose modalities. Further, we supplement learning with sound-source separation loss formulated across all three streams. We pre-train our model on the large MUSIC21 dataset and demonstrate improved performance in audio-visual sound source separation on that dataset as well as other datasets through fine-tuning. In addition, we show that the learned TriBERT representations are generic and significantly improve performance on other audio-visual tasks such as cross-modal audio-visual-pose retrieval by as much as 66.7% in top-1 accuracy.

연구 동기 및 목표

• 청각-시각-자세를 통합하는 다중모달 표현 학습 모델이 부족한 문제를 해결하기 위해, 사운드 소스 분리와 같은 정교한 청각-시각 작업을 위한 시각, 청각, 인간 자세를 통합하는 모델을 개발하는 것.
• 분리 외의 다양한 청각-시각 작업으로의 전이를 지원하는 일반적이고 맥락 인식 표현 학습 프레임워크를 개발하는 것.
• 특히 인간 중심의 사운드 이벤트에 대해 자세 키포인트 표현을 모달리티로 통합할 경우의 효과를 탐구하는 것.
• 기존 방법이 단일 소스 가정에 의존하거나 얕은 융합에 의존하는 한계를 극복하기 위해 계층적이고 맥락 인식 가능한 교차모달 attention을 가능하게 하는 것.
• 트랜스포머 기반의 다중 스트림 동시 attention이 분리 및 검색 벤치마크 양측에서 기존 아키텍처를 능가할 수 있음을 입증하는 것.

제안 방법

• TriBERT는 공통의 attention 블록을 사용하여 시각, 청각 및 자세 키포인트 모달리티를 공동으로 모델링하는 삼중 스트림 트랜스포머 아키텍처를 채택한다.
• 고정된 프레임 수준 특징을 대체하기 위해 공간 attention 기반의 학습된 시각 토크나이제이션 방식을 도입한다.
• 단일 사운드 소스 가정이 필요 없도록, 교차모달 상호작용을 가능하게 하기 위해 약한 감독 목표를 사용한다.
• 작업 특화의 특징 학습을 향상시키기 위해 스펙트로그램 마스크 예측 작업을 사전 훈련 목표로 도입한다.
• 단일 모달 분류 및 사운드 분리 목표의 조합을 사용하여 대규모 MUSIC21 데이터셋에서 사전 훈련한다.
• 교차 attention 메커니즘은 사전 훈련 및 미세조정 중에 모든 세 모달리티 간에 동적이고 맥락 인식 가능한 특징 융합을 허용한다.

실험 결과

연구 질문

• RQ1 청각, 시각, 자세 키포인트 모달리티를 동시에 고려하는 트랜스포머 기반 모델이 청각-시각적 사운드 소스 분리 성능을 향상시킬 수 있는가?
• RQ2 자세 키포인트를 모달리티로 통합하면 특히 인간 중심의 장면에서 사운드 연관 작업의 표현 품질을 향상시킬 수 있는가?
• RQ3 TriBERT에서 학습된 표현은 분리 외의 다른 청각-시각 작업, 예를 들어 크로스모달 검색으로 일반화될 수 있는가?
• RQ4 학습된 시각 토크나이제이션 및 약한 감독 목표를 갖춘 TriBERT의 아키텍처는 기존 방법과 성능 및 내구성 측면에서 어떻게 비교되는가?
• RQ5 삼중모달 동시 attention 메커니즘이 모달리티 간에 의미 있는, 정렬된 표현을 학습하는 데 얼마나 기여하는가?

주요 결과

• Fine-tuning 후 TriBERT는 MUSIC21 데이터셋에서 청각-시각적 사운드 소스 분리에서 최고 성능을 기록한다.
• 기본 모델 대비 크로스모달 청각-시각-자세 검색의 상위-1 정확도를 최대 66.7% 향상시킨다.
• 검색 시 TriBERT 임베딩을 사용하면 테스트된 다섯 가지 검색 유형 전반에서 사전 트랜스포머 특징 및 무작위 선택보다 유의미하게 뛰어난 성능을 보인다.
• 비록 매개변수 수가 더 많지만, 시각+청각 → 자세 검색 유형은 청각 → 자세 유형에 비해 성능이 열 劣하므로, 모달리티 조합 및 아키텍처 설계가 성능에 결정적인 영향을 미친다.
• 정성적 결과는 TriBERT 표현이 의미 있는 관계를 학습하고 있음을 보여주며, 상위-5 결과에서 유사한 악기 종류가 올바르게 검색된 것으로 확인된다.
• 사전 훈련 목표로 스펙트로그램 마스크 예측을 사용함으로써, 분리 작업을 위한 작업 특화의 맥락 인식 특징 학습 능력이 향상된다.