[论文解读] Capsule-Forensics: Using Capsule Networks to Detect Forged Images and Videos
Capsule-Forensics 使用胶囊网络架构来检测广泛的伪造图像和视频，包括重放攻击和计算机生成的伪造，在若干基准测试上达到最先进甚至接近完美的准确率。
Recent advances in media generation techniques have made it easier for attackers to create forged images and videos. State-of-the-art methods enable the real-time creation of a forged version of a single video obtained from a social network. Although numerous methods have been developed for detecting forged images and videos, they are generally targeted at certain domains and quickly become obsolete as new kinds of attacks appear. The method introduced in this paper uses a capsule network to detect various kinds of spoofs, from replay attacks using printed images or recorded videos to computer-generated videos using deep convolutional neural networks. It extends the application of capsule networks beyond their original intention to the solving of inverse graphics problems.
研究动机与目标
- 激发对一种通用的、对攻击类型演变具有鲁棒性的伪造检测器的需求。
- 开发基于胶囊网络的检测器，能够同时处理图像和视频（帧级和视频级聚合）。
- 利用受逆图形启发的胶囊来捕捉层级姿态关系以及部件-整体一致性，以提取伪造线索。
提出的方法
- 从对齐到脸部的 128x128 输入中，使用部分 VGG-19 提取潜在特征。
- 将特征送入一个三主轴、两个输出的胶囊网络（真实 vs 假的）。
- 应用带随机高斯噪声的动态路由，以提高泛化性和稳定性。
- 使用带多维输出胶囊表述的交叉熵损失，在每个维度上分离真实/伪造。
- 在视频中聚合帧级后验以进行视频级决策。
- 在训练时是否加入随机噪声进行对比实验（Capsule-Forensics 与 Capsule-Forensics-Noise）。
实验结果
研究问题
- RQ1胶囊网络是否能鲁棒地检测广泛的伪造类型（重放、CGI、再现）超越特定领域探测器？
- RQ2在训练中引入随机噪声是否能提升跨数据集的泛化能力和性能？
- RQ3在重放、换脸、面部再现和 CGI 检测任务上，Capsule-Forensics 与最先进方法相比如何？
主要发现
- 在 Replay-Attack 上，Capsule-Forensics 在无噪声时达到 0.28% 的 HTER，带噪声时为 0.00%。
- 在帧级人脸替换检测（deepfake 数据集）上，Capsule-Forensics 在无噪声时达到 94.47% 的准确率，带噪声时为 95.93%。
- 在视频级人脸替换检测中，Capsule-Forensics 在无噪声时达到 97.69%，带噪声时为 99.23%。
- 在面部再现（FaceForensics）上，Capsule-Forensics 在帧级在不同压缩级别下达到或超过最优方法；在视频级，带噪声的 Capsule-Forensics 实现 99.33%，而竞争对手约为 82–98%，取决于压缩。
- 在 CGIs 与 PIs 的比较中，Capsule-Forensics 达到 99.72% 全尺寸准确率（96.75% 在补丁），Capsule-Forensics-Noise 达到 100.00% 全尺寸准确率。
- 随机噪声训练通常会在各任务和数据集上提升性能。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。