[论文解读] Deep Nets: What have they ever done for Vision?

Alan Yuille, Chenxi Liu|arXiv (Cornell University)|May 10, 2018

Visual Attention and Saliency Detection参考文献 120被引用 19

一句话总结

本文评论论文对计算机视觉中的深度神经网络（DNNs）进行了批判性评估，认为尽管其在基准数据集上表现成功，但仍不足以解决自然图像中固有的组合复杂性问题。作者主张重新思考性能评估方法，强调组合性、生成性以及信号-符号混合方法，以克服当前在泛化能力和鲁棒性方面的局限。

ABSTRACT

This is an opinion paper about the strengths and weaknesses of Deep Nets for vision. They are at the heart of the enormous recent progress in artificial intelligence and are of growing importance in cognitive science and neuroscience. They have had many successes but also have several limitations and there is limited understanding of their inner workings. At present Deep Nets perform very well on specific visual tasks with benchmark datasets but they are much less general purpose, flexible, and adaptive than the human visual system. We argue that Deep Nets in their current form are unlikely to be able to overcome the fundamental problem of computer vision, namely how to deal with the combinatorial explosion, caused by the enormous complexity of natural images, and obtain the rich understanding of visual scenes that the human visual achieves. We argue that this combinatorial explosion takes us into a regime where "big data is not enough" and where we need to rethink our methods for benchmarking performance and evaluating vision algorithms. We stress that, as vision algorithms are increasingly used in real world applications, that performance evaluation is not merely an academic exercise but has important consequences in the real world. It is impractical to review the entire Deep Net literature so we restrict ourselves to a limited range of topics and references which are intended as entry points into the literature. The views expressed in this paper are our own and do not necessarily represent those of anybody else in the computer vision community.

研究动机与目标

• 批判性评估深度神经网络（DNNs）在计算机视觉中的优势与局限，尤其关注其泛化能力和鲁棒性。
• 挑战在基准数据集（如ImageNet）上表现优异即意味着物体识别问题已被解决的假设。
• 强调数据集偏差的风险，以及当前评估方法在预测真实世界性能方面的不足。
• 论证当前形式的DNNs难以克服自然图像理解中固有的组合爆炸问题。
• 呼吁借鉴人类视觉系统能力，设计新的评估框架，包括对抗性测试和组合性推理。

提出的方法

• 提出使用更具挑战性、更贴近真实世界视觉场景复杂性的新基准，重新评估视觉算法。
• 倡导在测试时对图像进行修改，以探测算法弱点的对抗性测试方法。
• 建议开发结合信号处理与符号推理的混合模型，以提升泛化能力和可解释性。
• 建议将发展文献中的洞见融入学习框架，以实现更具灵活性和适应性的视觉理解。
• 强调应超越大数据和以基准为中心的评估，转向测试鲁棒性和组合泛化能力的方法。
• 呼吁设计更能反映真实世界部署条件的性能评估框架，尤其在高风险应用场景中。

实验结果

研究问题

• RQ1 当前基准数据集在多大程度上准确反映了自然图像理解的真实世界复杂性？
• RQ2 深度神经网络能否在训练数据分布之外的未见视觉配置中实现有效泛化？
• RQ3 为何DNNs尽管在标准任务上表现优异，却仍无法实现人类视觉系统的灵活性与适应性？
• RQ4 我们如何设计评估协议，以更好地预测真实世界性能并检测模型中的隐藏偏差？
• RQ5 需要何种替代架构或学习范式，才能克服视觉感知中的组合爆炸问题？

主要发现

• 在ImageNet等基准数据集上的表现并不能说明物体识别问题已被解决，因为这些数据集在范围上有限，可能无法反映真实世界复杂性。
• DNNs在分布偏移和对抗性扰动下表现脆弱，表明尽管在标准测试中准确率高，但其鲁棒性仍不足。
• 由于自然图像变化的组合爆炸，当前的评估实践在预测真实世界性能方面存在不足。
• 人类视觉系统通过组合性和生成性过程实现对场景的丰富、灵活理解——这是当前DNNs所缺乏的能力。
• 在缺乏充分验证的情况下，将视觉系统部署于真实世界应用中的风险日益增加，引发关于偏差和滥用的伦理担忧。
• 作者结论认为，仅靠DNNs难以实现通用视觉理解，未来进展需要依赖混合、组合性及生成性方法。