[论文解读] CU-Net: Coupled U-Nets

Zhiqiang Tang, Xi Peng+3 more|arXiv (Cornell University)|Aug 20, 2018

Human Pose and Action Recognition参考文献 16被引用 9

一句话总结

CU-Net 提出了一种新颖的架构，通过在不同 U-Net 的对应语义模块之间引入跨网络连接，将多个 U-Net 分支耦合起来，实现了全局特征复用和改进的梯度流动。该设计在参数量至少减少 60% 的情况下，实现了最先进的人体姿态估计精度。

ABSTRACT

We design a new connectivity pattern for the U-Net architecture. Given several stacked U-Nets, we couple each U-Net pair through the connections of their semantic blocks, resulting in the coupled U-Nets (CU-Net). The coupling connections could make the information flow more efficiently across U-Nets. The feature reuse across U-Nets makes each U-Net very parameter efficient. We evaluate the coupled U-Nets on two benchmark datasets of human pose estimation. Both the accuracy and model parameter number are compared. The CU-Net obtains comparable accuracy as state-of-the-art methods. However, it only has at least 60% fewer parameters than other approaches.

研究动机与目标

• 解决基于 U-Net 的最先进人体姿态估计模型中参数量过高的问题。
• 改善多个 U-Net 分支之间的信息流动与特征复用。
• 以新颖的全局耦合模式，结合堆叠 U-Net（多阶段优化）与 DenseNet（密集连接）的优势。
• 探究中间监督在耦合架构中的有效性。
• 在显著减少模型规模的同时实现高精度。

提出的方法

• 该方法将多个堆叠 U-Net 中相同分辨率的语义模块相互连接，形成 U-Net 对之间的全局耦合模式。
• 每对 U-Net 在自顶向下和自底向上路径上均实现连接，支持跨网络的特征传播。
• 该耦合机制实现了全局特征复用，并增强了整个网络的梯度流动，提升了训练效率。
• 该架构支持在每个 U-Net 输出头处引入中间监督，实现在不损失参数效率的前提下实现多阶段监督。
• 模型仅使用标准卷积层和跳跃连接，未引入额外复杂模块或对抗性组件。
• 最终输出通过聚合所有 U-Net 输出头的预测生成，其中最后一个输出头提供主要预测结果。

实验结果

研究问题

• RQ1 U-Net 分支之间的全局跨网络连接是否能提升特征复用并减少模型参数？
• RQ2 耦合 U-Net 在人体姿态估计中的性能与堆叠 U-Net 及密集 U-Net 相比如何？
• RQ3 耦合 U-Net 架构中最佳的中间监督数量是多少？
• RQ4 耦合 U-Net 是否能在保持高参数效率的同时实现最先进精度？
• RQ5 与标准堆叠 U-Net 相比，该耦合机制是否能改善梯度流动与收敛性？

主要发现

• CU-Net-8 在 MPII 测试集上达到 90.8 的平均 PCKh 分数，精度与最先进方法相当或更优。
• 在 LSP 数据集上，CU-Net-8 达到 93.4 的平均 PCKh 分数，优于大多数先前方法，包括使用复杂模块或对抗性训练的方法。
• 该模型仅使用 1010 万个参数，比其他最先进方法至少减少 60%，即使后者包含更复杂的组件。
• 中间监督可提升性能，但对每个 U-Net 输出头都进行全监督并非最优，表明监督与效率之间存在权衡。
• 与标准堆叠 U-Net 相比，该耦合架构实现了更好的特征复用与梯度流动，从而在更少参数下获得更高精度。
• 该方法表明，U-Net 分支之间的全局耦合比单个 U-Net 内部的局部密集连接更有效。