[论文解读] Deep Audio-Visual Learning: A Survey
本综述全面概述了深度音视频学习，将近期进展划分为四个关键领域：音视频分离与定位、对应关系学习、生成以及表征学习。它整合了最先进方法，识别核心挑战，并总结了关键数据集与评估指标，为多模态人工智能研究提供了基础参考。
Audio-visual learning, aimed at exploiting the relationship between audio and visual modalities, has drawn considerable attention since deep learning started to be used successfully. Researchers tend to leverage these two modalities either to improve the performance of previously considered single-modality tasks or to address new challenging problems. In this paper, we provide a comprehensive survey of recent audio-visual learning development. We divide the current audio-visual learning tasks into four different subfields: audio-visual separation and localization, audio-visual correspondence learning, audio-visual generation, and audio-visual representation learning. State-of-the-art methods as well as the remaining challenges of each subfield are further discussed. Finally, we summarize the commonly used datasets and performance metrics.
研究动机与目标
- 系统性地对四个核心子领域中的深度音视频学习近期进展进行分类与综述。
- 识别每个子领域中的关键挑战与开放问题，包括无监督学习、模态异质性以及表征学习。
- 总结常用公开数据集与评估指标，以支持音视频研究的可复现性与基准测试。
- 通过提出注意力机制、知识图谱和可解释模型等方向，为未来研究提供指导。
- 通过分析共享表征与跨模态对齐，弥合理解与生成任务之间的差距。
提出的方法
- 将音视频学习划分为四个独立的研究方向：分离/定位、对应关系学习、生成与表征学习。
- 回顾各子领域中使用的最先进深度学习模型与架构，包括自监督与弱监督方法。
- 分析对比学习、时间同步与注意力机制等关键技术在跨模态对齐中的应用。
- 提出利用知识图谱与记忆库以提升音视频任务中的推理与泛化能力。
- 采用标准指标评估性能，如检索任务的mAP、分离任务的SI-SDR与生成任务的FID。
- 强调无监督与弱监督学习的重要性，因其可应对成对音视频标注数据稀缺的问题。
实验结果
研究问题
- RQ1如何有效结合音频与视觉模态，以提升语音识别与声音分离等任务的性能？
- RQ2在细粒度检索与同音词消歧等任务中，学习跨模态对应关系的主要挑战是什么？
- RQ3在模态间分布差距较大的情况下，生成模型如何仅从单一模态生成高保真度的音频或视觉输出？
- RQ4在学习解耦且可泛化的音视频表征时，哪些约束或归纳偏置最为有效？
- RQ5未来研究方向（如注意力机制、知识图谱或可解释人工智能）如何克服当前音视频学习中的局限性？
主要发现
- 在嘈杂环境中，视觉上下文显著提升了音视频分离与定位的性能，优于仅使用音频的方法。
- 音视频对应关系学习可提升语音识别与检索性能，尤其当视觉线索提供语义先验时效果更明显。
- 音视频合成的生成模型（如说话人脸生成）已实现高度逼真效果，但细微伪影仍可察觉。
- 通过自监督目标（如音视频时间同步AVTS）与对比学习进行表征学习，可实现强大的零样本迁移性能。
- 尽管已有进展，但在真实场景、3D/AR/360°视频与立体声学场景下的泛化能力仍面临挑战，亟需更优数据与归纳偏置。
- 复杂深度网络中缺乏可解释机制，影响模型鲁棒性与可信度，凸显了对可解释架构与知识融合的迫切需求。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。