[论文解读] Deep Cross Residual Learning for Multitask Visual Recognition

Brendan Jou, Shih‐Fu Chang|arXiv (Cornell University)|Apr 5, 2016

Domain Adaptation and Few-Shot Learning参考文献 44被引用 7

一句话总结

本文提出了一种新型残差网络扩展方法——交叉残差学习（CRL），通过相关任务之间的交叉连接，实现了深度多任务视觉识别。通过整合可学习的交叉残差连接，该方法在词性-名词对检测任务上相比标准多任务残差网络，参数量减少40%，性能提升10.4%，实现了共享表征学习并提升了泛化能力。

ABSTRACT

Residual learning has recently surfaced as an effective means of constructing very deep neural networks for object recognition. However, current incarnations of residual networks do not allow for the modeling and integration of complex relations between closely coupled recognition tasks or across domains. Such problems are often encountered in multimedia applications involving large-scale content recognition. We propose a novel extension of residual learning for deep networks that enables intuitive learning across multiple related tasks using cross-connections called cross-residuals. These cross-residuals connections can be viewed as a form of in-network regularization and enables greater network generalization. We show how cross-residual learning (CRL) can be integrated in multitask networks to jointly train and detect visual concepts across several tasks. We present a single multitask cross-residual network with >40% less parameters that is able to achieve competitive, or even better, detection performance on a visual sentiment concept detection problem normally requiring multiple specialized single-task networks. The resulting multitask cross-residual network also achieves better detection performance by about 10.4% over a standard multitask residual network without cross-residuals with even a small amount of cross-task weighting.

研究动机与目标

• 为解决深度多任务视觉识别系统中复杂任务间关系建模的挑战。
• 通过在相关任务间实现信息流动，提升深度网络的泛化能力和参数效率。
• 设计一种统一架构，联合学习多个相关任务（如形容词、名词及形容词-名词对检测）中的视觉概念，而无需为每个任务单独构建网络。
• 证明交叉残差连接优于固定或恒等映射的跨任务连接。
• 在真实世界多媒体应用中验证CRL的有效性，特别是视觉情感概念检测任务。

提出的方法

• 在共享深度网络架构内，引入跨任务的交叉残差连接（交叉残差），连接不同任务的特征图。
• 在交叉残差连接中使用可学习的通道级缩放权重，动态调节相关任务之间的信息流动。
• 构建一种分叉型多任务网络，共享低层特征，并通过任务特定分支增强交叉残差层。
• 采用残差学习框架，其中残差映射不仅基于恒等映射，还基于跨任务映射，使每个任务能从相关任务的表征中获益。
• 在多个网络深度处应用交叉残差连接，实现相关视觉识别任务间分层的特征共享与专业化。
• 采用端到端的多任务损失函数，联合训练形容词、名词及形容词-名词对检测的分类器。

实验结果

研究问题

• RQ1 交叉残差连接是否能通过在相关视觉识别任务间实现信息共享，提升深度多任务网络的泛化能力？
• RQ2 具有可学习交叉残差的多任务网络性能与单任务网络或标准多任务残差网络相比如何？
• RQ3 可学习的交叉残差权重是否在检测准确率和模型效率方面优于固定或恒等映射的跨连接？
• RQ4 交叉残差学习在保持或提升复杂概念检测任务性能的同时，能在多大程度上减少参数量？
• RQ5 视觉概念间的内部与跨相关性（如“闪亮的车”与“闪亮的鞋”）在多大程度上影响交叉残差学习的有效性？

主要发现

• 多任务交叉残差网络在使用超过40%更少参数的情况下，性能与专用单任务网络相当或更优。
• 在最具挑战性的任务——形容词-名词对检测中，相比标准多任务残差网络，性能相对提升约10.4%。
• 当移除交叉残差连接时，形容词-名词对检测的准确率下降约9%，凸显其在性能中的关键作用。
• 学习得到的交叉残差权重大多为非负且数值较小，与残差网络的归纳偏置一致，表明优化过程有效且稳定。
• 网络能成功检测出直观相关的概念（如从“树叶”和“微小”推断出“蜘蛛”），即使这些概念未被显式标注，表明通过跨任务知识迁移实现了有效泛化。
• 失败案例（如因与“多彩”相似而将“性感的嘴唇”排在高分）表明可能存在过度泛化现象，但可通过增加跨任务加权层的容量加以缓解。