[논문 리뷰] Audio-aware Query-enhanced Transformer for Audio-Visual Segmentation

Jinxiang Liu, Chen Ju외 4명|arXiv (Cornell University)|2023. 07. 25.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 청각에 민감한 가속 가능한 쿼리를 디코더에 도입하여 소리 나는 객체에 집중하면서도 조용하지만 시각적으로 두드러진 객체를 억제하는, 청각-시각 분할을 위한 새로운 다중 모odal 트랜스포머 프레임워크인 Audio-aware Query-enhanced Transformer (AuTR)을 제안한다. 장거리 맥락 모델링을 위해 자기주의 어텐션과 개별 인스턴스 마스크 예측을 위해 동적 컨볼루션을 활용함으로써, AuTR는 다중 소리 및 오픈 세트 AVS 벤치마크에서 최신 기술 수준(SOTA) 성능과 뛰어난 일반화 능력을 달성한다.

ABSTRACT

The goal of the audio-visual segmentation (AVS) task is to segment the sounding objects in the video frames using audio cues. However, current fusion-based methods have the performance limitations due to the small receptive field of convolution and inadequate fusion of audio-visual features. To overcome these issues, we propose a novel extbf{Au}dio-aware query-enhanced extbf{TR}ansformer (AuTR) to tackle the task. Unlike existing methods, our approach introduces a multimodal transformer architecture that enables deep fusion and aggregation of audio-visual features. Furthermore, we devise an audio-aware query-enhanced transformer decoder that explicitly helps the model focus on the segmentation of the pinpointed sounding objects based on audio signals, while disregarding silent yet salient objects. Experimental results show that our method outperforms previous methods and demonstrates better generalization ability in multi-sound and open-set scenarios.

연구 동기 및 목표

• 기존의 융합 기반 방법의 한계, 특히 컨볼루션의 작은 수용장과 부적절한 청각-시각 특징 융합을 해결하기 위해.
• 다중 모달 트랜스포머 아키텍처를 통해 깊고 장거리 융합된 청각 및 시각 특징을 활용하여 분할 정확도를 향상시키기 위해.
• 청각 자극을 받은 객체에만 집중하도록 모델을 명시적으로 안내하면서도, 조용하지만 시각적으로 두드러진 간섭 요소는 무시하기 위해.
• 다양한 소리 카테고리가 포함된 복잡한 시나리오, 예를 들어 테스트 중에 미리 보지 못한 소리 카테고리가 등장하는 다중 소리 및 오픈 세트 설정에서의 일반화 능력을 향상시키기 위해.

제안 방법

• 자기주의 어텐션을 통해 시각적 및 청각적 특징을 동시에 모델링하는 다중 모달 트랜스포머 인코더를 사용하여, 컨볼루션 층의 제약을 초월한 장거리 맥락 모델링을 가능하게 한다.
• 트랜스포머 디코더에 청각에 민감한 학습 가능한 쿼리를 도입하여 청각-시각 특징에 주의를 기울이며, 분할 과정에서 소리 나는 객체에만 집중하도록 모델을 명시적으로 안내한다.
• 동적 컨볼루션을 사용하여 마스크 예측을 수행하며, 컨볼루션 커널 매개변수는 쿼리 특징에 기반하여 트랜스포머 디코더에서 생성되어 인스턴스별 마스크 정밀도 향상을 가능하게 한다.
• 학습 중에 이원 매칭(bipartite matching)을 적용하여 예측 마스크를 진짜 인스턴스와 연결함으로써, 보다 강력한 감독과 학습 안정성을 향상시킨다.
• 사전 훈련된 시각 인코더(ResNet50, PVT-v2)와 VGGish를 사용하여 청각 특징을 추출하고, 이후 트랜스포머 및 디코더 모듈을 통해 특징 융합 및 정제를 수행한다.
• 다중 해상도 특징을 통합하고 고해상도 마스크 예측을 생성하기 위해 픽셀 디코더를 사용하며, 이는 동적 컨볼루션 모듈에 의해 구현된다.

실험 결과

연구 질문

• RQ1 청각에 민감한 쿼리가 포함된 다중 모달 트랜스포머는 컨볼루션 기반 융합 대비 청각 및 시각 특징을 더 잘 융합함으로써 분할 정확도를 향상시킬 수 있는가?
• RQ2 디코더에 청각에 민감한 쿼리를 사용하면, 조용한데도 두드러지는 간섭 요소를 억제하면서도 소리 나는 객체에만 정확히 국한하여 국소화할 수 있는가?
• RQ3 제안된 AuTR 프레임워크는 추론 중에 미리 보지 못한 소리 카테고리를 만날 수 있는 다중 소리 및 오픈 세트 시나리오에서 어떻게 일반화되는가?
• RQ4 쿼리에 따라 변하는 커널을 가진 동적 컨볼루션은 고정된 컨볼루션 헤드에 비해 마스크 예측 품질을 어느 정도 향상시키는가?
• RQ5 제안된 아키텍처는 TPAVI와 같은 기존의 인코더-융합-디코더 기반 베이스라인에 비해 폐쇄 세트 및 오픈 세트 AVS 벤치마크에서 모두 슈퍼어리어어를 달성하는가?

주요 결과

• PVT-v2 백본을 사용할 때 S4 벤치마크에서 AuTR는 평균 재현율 지수(mIoU) 80.4%를 기록하여 TPAVI 베이스라인보다 4.74점 높은 성능을 보였다.
• 오픈 세트 AVS 벤치마크에서 PVT-v2를 사용할 때 AuTR는 미리보지 못한 카테고리에서 66.22%의 mIoU를 기록했으며, TPAVI보다 10.36점 높은 성능을 보였다. 비록 본래의 카테고리에서 성능이 떨어졌지만, 이는 매우 우수한 일반화 능력을 시사한다.
• S4에서 훈련된 가중치를 사용해 MS3 서브셋에서 미세조정한 결과, ResNet50를 사용할 때 AuTR는 mIoU가 6.59점 향상되었고, TPAVI는 3.56점 감소하였다. 이는 AuTR의 뛰어난 일반화 능력을 입증한다.
• 절단 실험 결과, 청각에 민감한 쿼리나 동적 컨볼루션을 제거할 경우 각각 mIoU가 79.6%와 79.5%로 감소하여, 이 요소들이 프레임워크에서 핵심적인 역할을 한다는 점을 확인한다.
• 정성적 결과에서는, AuTR가 복잡한 다중 소리 장면에서도 오직 소리 나는 객체만 정확히 분할하는 반면, TPAVI는 종종 조용하지만 두드러진 객체까지 포함하여 예측하는 경향을 보였다.
• PVT-v2를 사용할 때 AuTR는 F-측정치 0.891을 유지하여 다양한 테스트 시나리오에서 높은 경계 정확도와 정밀도 성능을 보였다.