[论文解读] Ad-Net: Audio-Visual Convolutional Neural Network for Advertisement Detection In Videos

Shervin Minaee, Imed Bouazizi+2 more|arXiv (Cornell University)|Jun 22, 2018

Video Analysis and Summarization参考文献 18被引用 6

一句话总结

本文提出 Ad-Net，一种双流音视频卷积神经网络，通过融合视觉与音频特征来检测广播视频中的广告，准确率达到 82%，显著优于手工设计特征方法（如 HOG+SVM 的 76.4% 和 LBP+SVM 的 68.5%），借助深度学习克服了广告与常规内容之间的视觉相似性问题。

ABSTRACT

Personalized advertisement is a crucial task for many of the online businesses and video broadcasters. Many of today's broadcasters use the same commercial for all customers, but as one can imagine different viewers have different interests and it seems reasonable to have customized commercial for different group of people, chosen based on their demographic features, and history. In this project, we propose a framework, which gets the broadcast videos, analyzes them, detects the commercial and replaces it with a more suitable commercial. We propose a two-stream audio-visual convolutional neural network, that one branch analyzes the visual information and the other one analyzes the audio information, and then the audio and visual embedding are fused together, and are used for commercial detection, and content categorization. We show that using both the visual and audio content of the videos significantly improves the model performance for video analysis. This network is trained on a dataset of more than 50k regular video and commercial shots, and achieved much better performance compared to the models based on hand-crafted features.

研究动机与目标

• 解决广播视频中广告片段未在元数据中标记所带来的检测挑战。
• 克服广告与常规内容之间在视觉上的相似性（例如体育画面与产品广告）导致传统仅视觉方法失效的问题。
• 开发一种整合音频与视觉模态的深度学习框架，以提升检测准确率。
• 通过检测广告片段并基于用户档案实现内容感知的替换，支持个性化广告替换。

提出的方法

• 采用双流卷积神经网络：一路处理 RGB 视频帧以提取视觉表征，另一路处理音频频谱图以提取听觉特征。
• 通过两路中的多个卷积与池化层提取高层表征，随后使用全连接层并配合 Dropout 进行正则化。
• 在网络早期阶段融合视觉与音频嵌入，以实现对广告检测相关音视频模式的联合学习。
• 使用随机小批量梯度下降进行训练，损失函数包含交叉熵分类损失与 ℓ₂ 正则化项，以防止过拟合。
• 引入多任务学习扩展，通过增加第二个交叉熵损失项，使同一架构也可用于视频内容分类。
• 基于验证性能优化超参数，包括学习率衰减策略、批量大小为 200，以及 ℓ₂ 权重衰减为 0.0001。

实验结果

研究问题

• RQ1 联合分析音频与视觉特征的深度学习模型，是否能在广播视频中比仅依赖视觉特征的模型更准确地检测广告？
• RQ2 音视频卷积神经网络在广告检测中的性能，与传统手工特征方法（如 HOG 和 LBP）相比如何？
• RQ3 在视觉内容模糊或广告与常规节目视觉相似的情况下，融合音频与视觉表征在多大程度上能提升检测的鲁棒性？
• RQ4 所提出的架构在多任务学习方面是否具备可扩展性，能够同时支持广告检测与视频内容分类？

主要发现

• 所提出的音视频卷积神经网络在 51,000 个视频与广告片段的测试集上达到 82% 的检测准确率，显著优于 HOG+SVM（76.4%）与 LBP+SVM（68.5%）。
• 该模型通过有效利用音频与视觉线索，展现出更优的泛化能力与鲁棒性，显著降低了对视觉相似内容（如体育剪辑与产品广告）的误分类。
• 训练曲线显示稳定收敛，过拟合现象极少，归因于全连接层后应用的 Dropout（0.5）与 ℓ₂ 正则化（λ = 0.0001）。
• 音视频融合策略相比单模态仅视觉模型，显著提升了精确率与召回率，尤其在模糊场景下表现更优。
• 该模型架构支持多任务学习，可通过共享特征表示实现广告检测与内容分类的并行处理。
• 结果验证了在大规模数据集上端到端训练的深度学习模型，相比传统手工特征流水线，在视频广告检测任务中具有显著优势。