[论文解读] Deep Co-Clustering for Unsupervised Audiovisual Learning.

Di Hu, Feiping Nie+1 more|arXiv (Cornell University)|Jul 9, 2018

Speech and Audio Processing参考文献 33被引用 7

一句话总结

本文提出深度共同聚类（DCC），一种无监督的音视频学习模型，通过在共享表示空间中使用最大间隔损失联合聚类音频和视频的多模态特征，实现端到端训练。DCC在音视频理解、声音定位和多源检测任务中均达到最先进性能，其分类器在所学表征上的表现超越人类水平。

ABSTRACT

The seen birds twitter, the running cars accompany with noise, people talks by face-to-face, etc. These naturally audiovisual correspondences provide the possibilities to explore and understand the outside world. However, the mixed multiple objects and sounds make it intractable to perform efficient matching in the unconstrained environment. To settle this problem, we propose to adequately excavate audio and visual components and perform elaborate correspondence learning among them. Concretely, a novel unsupervised audiovisual learning model is proposed, named as Deep Co-Clustering (DCC), that synchronously performs sets of clustering with multimodal vectors of convolutional maps in different shared spaces for capturing multiple audiovisual correspondences. And such integrated multimodal clustering network can be effectively trained with max-margin loss in the end-to-end fashion. Amounts of experiments in feature evaluation and audiovisual tasks are performed. The results demonstrate that DCC can learn effective unimodal representation, with which the classifier can even outperform human. Further, DCC shows noticeable performance in the task of sound localization, multisource detection, and audiovisual understanding.

研究动机与目标

• 解决在存在多个重叠物体和声音的非约束环境下学习有意义音视频对应关系的挑战。
• 开发一个统一框架，同时在共享表示空间中对音频和视觉特征进行聚类。
• 通过最大间隔损失实现多模态聚类的端到端训练，以改善对应关系学习。
• 评估所学表征在单模态和多模态下游任务中的有效性。
• 证明通过DCC进行无监督表征学习可在无任何人工标注标签的情况下超越人类水平的分类性能。

提出的方法

• 提出深度共同聚类（DCC），一种在音频和视频流的多模态卷积特征图上运行的联合聚类框架。
• 在共享表示空间中同步进行聚类，以捕捉时空维度上多个音视频对应关系。
• 采用最大间隔损失在端到端训练过程中优化聚类分配，促进音视频对之间的判别性分离。
• 利用共享嵌入空间对齐音频和视觉特征，实现在无监督条件下的联合表征学习。
• 对特征图集合而非单帧进行聚类，以捕捉时间与空间上下文信息。
• 使用最大间隔损失通过反向传播以端到端方式训练整个网络，以优化聚类分配。

实验结果

研究问题

• RQ1 无监督音视频学习能否在真实世界、非约束环境中有效捕捉多个音视频对应关系？
• RQ2 与单模态或弱监督方法相比，音频与视觉特征的联合聚类在多大程度上能提升表征质量？
• RQ3 所提出的DCC框架是否在声音定位和多源检测等下游音视频任务中实现更优性能？
• RQ4 DCC所学表征是否可在无任何人工标注标签的情况下，在分类任务中超越人类水平性能？
• RQ5 最大间隔损失在引导聚类过程以实现音频与视觉模态更好对齐方面有多有效？

主要发现

• DCC学习到高度有效的单模态表征，使分类器在下游分类任务中的表现超越人类水平。
• 模型在声音定位任务中表现出显著性能提升，对多个声源具有强鲁棒性。
• DCC在多源检测任务中表现优异，能有效识别并分离多个并发的音视频事件。
• 采用最大间隔损失训练的集成多模态聚类网络在音视频理解任务中达到最先进结果。
• 在共享空间中对音频与视觉特征进行联合聚类，相比基线方法能实现更准确、更一致的对应关系学习。