[论文解读] Integrated perception with recurrent multi-task neural networks

Hakan Bilen, Andrea Vedaldi|arXiv (Cornell University)|Jun 6, 2016

Advanced Neural Network Applications参考文献 27被引用 8

一句话总结

本文提出 Multinet，一种通过共享的、迭代更新的潜在表示来整合多种感知任务（如图像分类、目标检测和部件检测）的循环多任务神经网络。该方法通过促进任务间的协同信息流，相较于独立网络和标准多任务网络，显著提升了性能，在 PASCAL VOC 基准测试中实现了最高达 1.5 的 AP 提升，达到当前最优水平。

ABSTRACT

Modern discriminative predictors have been shown to match natural intelligences in specific perceptual tasks in image classification, object and part detection, boundary extraction, etc. However, a major advantage that natural intelligences still have is that they work well for "all" perceptual problems together, solving them efficiently and coherently in an "integrated manner". In order to capture some of these advantages in machine perception, we ask two questions: whether deep neural networks can learn universal image representations, useful not only for a single task but for all of them, and how the solutions to the different tasks can be integrated in this framework. We answer by proposing a new architecture, which we call "MultiNet", in which not only deep image features are shared between tasks, but where tasks can interact in a recurrent manner by encoding the results of their analysis in a common shared representation of the data. In this manner, we show that the performance of individual tasks in standard benchmarks can be improved first by sharing features between them and then, more significantly, by integrating their solutions in the common representation.

研究动机与目标

• 探究深度神经网络是否能够学习到在多个感知任务中均有效的通用共享表征。
• 探索如何在单一架构中系统性地整合不同感知任务以提升性能。
• 开发一种模块化、可扩展的框架，通过循环反馈实现视觉数据的增量式、一致化理解。
• 证明通过共享表征更新实现的任务整合，可带来超越单纯特征共享的性能增益。

提出的方法

• 该架构使用共享编码器，从输入数据生成一个共同的整合空间表征。
• 每个任务使用专用解码器，从共享表征中预测其特定输出（如类别、边界框、部件）。
• 任务输出通过任务特定的编码器反馈回整合空间，实现循环更新。
• 系统使用整合函数将各任务的反馈信息合并到共享表征中，形成闭环循环结构。
• 评估了两种更新规则：一种使用全维表征，另一种使用 512 维瓶颈以研究容量影响。
• 模型通过端到端方式联合优化所有组件，包括共享参数与任务特定参数。

实验结果

研究问题

• RQ1 单一深度神经网络能否学习到在多个感知任务中表现良好的通用表征？
• RQ2 如何有意义地结合不同感知任务的输出以提升整体性能？
• RQ3 从任务预测结果到共享表征的循环反馈是否能带来超越静态特征共享的性能提升？
• RQ4 在端到端训练过程中，任务间的协同效应能在多大程度上被自动发现？

主要发现

• Multinet 模型在 PASCAL VOC 2010 上的性能优于独立网络和标准多任务网络，实现了 1.5 的平均精度均值（mAP）增益。
• 即使在 512 维瓶颈下，模型仍优于标准多任务学习方法，表明其对表征压缩具有鲁棒性。
• 在推理阶段注入真实类别标签后，模型的分类 mAP 提升至 90.1，证实了任务输出反馈的有效性。
• 反馈机制不仅提升了主任务性能，也改善了其他任务，表明存在跨任务的信息传递。
• 完整版 Multinet 模型在 PASCAL VOC 2007 上的分类 mAP 达 79.8，检测 mAP 达 61.3，均超过两种基线模型。