[논문 리뷰] Deep Co-Clustering for Unsupervised Audiovisual Learning.

Di Hu, Feiping Nie외 1명|arXiv (Cornell University)|2018. 07. 09.

Speech and Audio Processing참고 문헌 33인용 수 7

한 줄 요약

이 논문은 최대 마진 손실을 사용하여 공유 표현 공간에서 음성 및 영상의 다중모odal 특징을 동시에 클러스터링하는 엔드투엔드 훈련을 위한 비지도 음성시각 학습 모델인 Deep Co-Clustering (DCC)을 제안한다. DCC는 음성시각 이해, 음향 국소화, 다중소스 탐지에서 최신 기술 수준의 성능을 달성하며, 학습된 표현에서 인간 수준 성능을 초월하는 분류기 성능을 보인다.

ABSTRACT

The seen birds twitter, the running cars accompany with noise, people talks by face-to-face, etc. These naturally audiovisual correspondences provide the possibilities to explore and understand the outside world. However, the mixed multiple objects and sounds make it intractable to perform efficient matching in the unconstrained environment. To settle this problem, we propose to adequately excavate audio and visual components and perform elaborate correspondence learning among them. Concretely, a novel unsupervised audiovisual learning model is proposed, named as Deep Co-Clustering (DCC), that synchronously performs sets of clustering with multimodal vectors of convolutional maps in different shared spaces for capturing multiple audiovisual correspondences. And such integrated multimodal clustering network can be effectively trained with max-margin loss in the end-to-end fashion. Amounts of experiments in feature evaluation and audiovisual tasks are performed. The results demonstrate that DCC can learn effective unimodal representation, with which the classifier can even outperform human. Further, DCC shows noticeable performance in the task of sound localization, multisource detection, and audiovisual understanding.

연구 동기 및 목표

• 다중 겹침 물체와 소리가 존재하는 제약 없는 환경에서 의미 있는 음성시각 대응 관계를 학습하는 도전 과제를 해결하기 위해.
• 공유 표현 공간을 통해 음성 및 시각 특징을 동시에 클러스터링하는 통합 프레임워크를 개발하기 위해.
• 더 나은 대응 관계 학습을 위해 엔드투엔드 훈련을 위한 최대 마진 손실을 사용하여 다중모달 클러스터링을 훈련하기 위해.
• 학습된 표현의 효과성을 단모달 및 다중모달 후속 작업에서 평가하기 위해.
• 비지도 표현 학습을 통해 DCC가 인간 수준 성능을 초월하는 분류 작업에서 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 음성 및 영상 스트림의 다중모달 컨볼루션 특징 맵을 기반으로 작동하는 공동 클러스터링 프레임워크인 딥 코클러스터링(DCC)을 제안한다.
• 시간과 공간을 모두 고려하여 공유 표현 공간에서 동시에 클러스터링하여 다중 음성시각 대응 관계를 포착한다.
• 엔드투엔드 훈련 중 클러스터링 할당을 최적화하기 위해 최대 마진 손실을 적용하여 음성시각 쌍 간의 분리 성능을 향상시킨다.
• 공유 임bedding 공간을 사용하여 음성 및 시각 특징을 정렬함으로써, 감독 없이도 공동 표현 학습을 가능하게 한다.
• 개별 프레임이 아닌 특징 맵의 집합에 클러스터링을 적용하여 시간적 및 공간적 맥락을 포착한다.
• 최대 마진 손실을 사용하여 백프로파게이션을 통해 전체 네트워크를 엔드투엔드 방식으로 훈련시켜 클러스터 할당을 정밀하게 개선한다.

실험 결과

연구 질문

• RQ1 비지도 음성시각 학습이 실제 제약 없는 환경에서 다중 음성시각 대응 관계를 효과적으로 포착할 수 있는가?
• RQ2 공유 표현 공간에서 음성 및 시각 특징을 동시에 클러스터링하는 방식이 단모달 또는 약한 감독 방법에 비해 표현 품질을 얼마나 향상시킬 수 있는가?
• RQ3 제안된 DCC 프레임워크가 음향 국소화 및 다중소스 탐지와 같은 후속 음성시각 작업에서 뛰어난 성능을 달성하는가?
• RQ4 DCC에서 학습된 표현이 인간의 레이블 없이도 분류 작업에서 인간 수준 성능을 초월할 수 있는가?
• RQ5 최대 마진 손실이 음성 및 시각 모odal 간의 더 나은 정렬을 이끌기 위해 클러스터링 과정을 얼마나 효과적으로 이끌 수 있는가?

주요 결과

• DCC는 후속 분류 작업에서 인간 수준 성능을 초월하는 매우 효과적인 단모달 표현을 학습한다.
• 음향 국소화 작업에서 뚜렷한 성능 향상을 보이며, 다중 소리 원천에 대해 뛰어난 강건성을 입증한다.
• DCC는 다중소스 탐지에서 뛰어난 성능을 보이며, 동시에 발생하는 여러 음성시각 이벤트를 효과적으로 식별하고 분리한다.
• 최대 마진 손실로 훈련된 통합 다중모달 클러스터링 네트워크는 음성시각 이해 작업에서 최신 기술 수준의 성능을 달성한다.
• 공유 공간에서 음성 및 시각 특징을 공동으로 클러스터링하는 방식은 기준 방법에 비해 더 정확하고 일관된 대응 관계 학습을 가능하게 한다.