[논문 리뷰] Positive Sample Propagation along the Audio-Visual Event Line

Jinxing Zhou, Liang Zheng외 3명|arXiv (Cornell University)|2021. 04. 01.

Music and Audio Processing참고 문헌 31인용 수 6

한 줄 요약

이 논문은 음성-시각 이벤트(AVE) 정렬을 향상시키기 위해 높은 유사도를 가진 음성-시각 세그먼트 쌍만 식별하고 집계하는 Positive Sample Propagation (PSP) 모듈을 제안한다. 불필요하거나 약한 상관관계를 가지는 쌍을 필터링함으로써 성능을 향상시킨다. 모든 쌍의 유사도 맵을 구성하고 임계값 기반 선택을 적용함으로써, 특징의 구분 능력을 향상시켜 AVE 데이터셋에서 완전 지도 학습 설정에서 77.8%의 최고 성능을 달성하였으며, 약한 지도 학습 설정에서는 73.5%의 성능을 기록하였다.

ABSTRACT

Visual and audio signals often coexist in natural environments, forming audio-visual events (AVEs). Given a video, we aim to localize video segments containing an AVE and identify its category. In order to learn discriminative features for a classifier, it is pivotal to identify the helpful (or positive) audio-visual segment pairs while filtering out the irrelevant ones, regardless whether they are synchronized or not. To this end, we propose a new positive sample propagation (PSP) module to discover and exploit the closely related audio-visual pairs by evaluating the relationship within every possible pair. It can be done by constructing an all-pair similarity map between each audio and visual segment, and only aggregating the features from the pairs with high similarity scores. To encourage the network to extract high correlated features for positive samples, a new audio-visual pair similarity loss is proposed. We also propose a new weighting branch to better exploit the temporal correlations in weakly supervised setting. We perform extensive experiments on the public AVE dataset and achieve new state-of-the-art accuracy in both fully and weakly supervised settings, thus verifying the effectiveness of our method.

연구 동기 및 목표

• 약한 지도 학습 기반 AVE 정렬에서 특징 융합 과정에서 발생하는 노이즈 및 관련 없는 음성-시각 세그먼트 쌍의 문제를 해결한다.
• 일관되지 않은 시간적 동기화가 이루어져도 높은 상관관계를 가지는 음성-시각 쌍에 집중함으로써 특징의 구분 능력을 향상시킨다.
• 강한 지도 학습이 필요 없이 완전 지도 및 약한 지도 학습 설정 모두에 일반화 가능한 방법을 개발한다.
• 모델 성능 저하를 유발하는 부정적 또는 약한 연결의 간섭을 줄인다.
• 약한 지도 학습 설정에서 시간적 중요도 점수를 기반으로 세그먼트 특징에 가중치를 부여하는 가중치 브랜치를 도입하여 시간 모델링을 향상시킨다.

제안 방법

• 모든 음성 및 시각 세그먼트 쌍 간의 유사도 맵을 구성하여 교차 모odal 상관관계를 평가한다.
• 임계값 기반 필터링 메커니즘을 적용하여 낮은 유사도 점수를 가진 연결만 제거하고 높은 유사도 쌍만 유지한다.
• 선택된 양성 쌍의 특징을 온라인 방식으로 집계하여 구분 능력이 높은 표현을 향상시킨다.
• 완전 지도 학습 설정에서 음성-시각 쌍의 유사도 손실을 도입하여 네트워크가 양성 쌍에 대해 높은 상관관계를 가지는 특징을 학습하도록 유도한다.
• 약한 지도 학습 설정에서 세그먼트 특징의 시간적 중요도 점수를 관련성 기반으로 할당하는 가중치 브랜치를 설계한다.
• 장기적인 시간 의존성을 모델링하고 교차 모달 표현을 개선하기 위해 Bi-LSTM 이후에 PSP 모듈을 사용한다.

실험 결과

연구 질문

• RQ1 낮은 유사도를 가진 음성-시각 쌍을 제거함으로써 AVE 정렬에서 학습된 특징의 구분 능력이 향상되는가?
• RQ2 음성 및 시각 세그먼트가 시간적으로 비동기화되어 있을 경우, 양성 샘플 전파가 모델 성능에 어떤 영향을 미치는가?
• RQ3 표준 특징 융합 방식(모든 쌍 포함, 약한 상관관계 포함)과 비교해, 유사도 기반 선택 메커니즘이 더 나은 성능을 내는가?
• RQ4 완전 지도 학습 설정에서 전용 음성-시각 쌍 유사도 손실을 도입하면 특징 정렬이 향상되는가?
• RQ5 학습 가능한 시간 가중치 메커니즘이 관련 세그먼트에 중점을 두어 약한 지도 학습 설정에서 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 PSP 방법은 완전 지도 학습 설정에서 AVE 데이터셋에서 77.8%의 정확도를 달성하여 이전 최고 성능보다 9.2%포인트 높다.
• 약한 지도 학습 설정에서는 73.5%의 정확도를 기록하여 이전 최고 성능보다 6.8%포인트 높다.
• 시각화 결과 PSP는 목표 이벤트와 강하게 일치하는 고유사도 음성-시각 연결만 선택적으로 유지하는 것으로 나타났다.
• TSNE 시각화 결과 PSP 모듈 이후 특징이 유의미하게 더 잘 군집화되었으며, 이는 더 강한 클래스 간 분離성과 클래스 내 밀도 향상을 의미한다.
• AVE와 비교해 제안된 방법은 음성 및 시각 신호가 동기화되어 있지 않더라도, 프라이닝 패닉과 닭고기 모두를 포함한 더 넓고 관련성이 높은 시각 영역에 주목한다.
• 약간 낮은 정확도를 보이는 백본을 사용하고도 AGSCA와 같은 최근 최고 성능 모델을 능가함으로써, PSP 및 시스템 설계의 효과성을 입증한다.