[论文解读] Generalization in multitask deep neural classifiers: a statistical physics approach

Tyler Lee, Anthony Ndirango|arXiv (Cornell University)|Oct 30, 2019

Neural Networks and Applications参考文献 27被引用 9

一句话总结

本文提出了一种基于统计物理的分析框架，用于研究具有Softmax输出和交叉熵损失的多任务深度神经网络分类器的泛化性能。研究发现，当任务相关且干净时，多任务学习可提升泛化性能；而当任务无关或存在噪声时，反而可能损害性能。理论预测通过在线性与非线性架构上进行的广泛数值实验得到验证。

ABSTRACT

A proper understanding of the striking generalization abilities of deep neural networks presents an enduring puzzle. Recently, there has been a growing body of numerically-grounded theoretical work that has contributed important insights to the theory of learning in deep neural nets. There has also been a recent interest in extending these analyses to understanding how multitask learning can further improve the generalization capacity of deep neural nets. These studies deal almost exclusively with regression tasks which are amenable to existing analytical techniques. We develop an analytic theory of the nonlinear dynamics of generalization of deep neural networks trained to solve classification tasks using softmax outputs and cross-entropy loss, addressing both single task and multitask settings. We do so by adapting techniques from the statistical physics of disordered systems, accounting for both finite size datasets and correlated outputs induced by the training dynamics. We discuss the validity of our theoretical results in comparison to a comprehensive suite of numerical experiments. Our analysis provides theoretical support for the intuition that the performance of multitask learning is determined by the noisiness of the tasks and how well their input features align with each other. Highly related, clean tasks benefit each other, whereas unrelated, clean tasks can be detrimental to individual task performance.

研究动机与目标

• 开发一个理论框架，以理解具有Softmax输出和交叉熵损失的多任务深度神经网络分类器中的泛化行为。
• 将现有的统计物理方法——此前仅限于回归任务——扩展至非线性分类问题。
• 研究任务相关性与信噪比（SNR）对多任务学习性能的影响。
• 通过在线性网络和ReLU网络上的全面数值实验，验证理论预测。
• 明确在何种条件下多任务学习能够增强或削弱多分类任务中的泛化性能。

提出的方法

• 将离散系统统计物理中的技术应用于建模深度神经网络中泛化的非线性动力学。
• 采用学生-教师框架，包含共享主干网络和任务特定分类头，以模拟多任务学习。
• 利用信号-噪声比（SNR）和任务表征间相关性等序参量，推导出泛化误差与多任务收益的解析表达式。
• 引入多任务收益度量 $MT_{A\leftarrow B}$，以量化辅助任务带来的性能增益。
• 通过自洽平均场方法，考虑有限数据集大小与输出相关性的影响。
• 将理论预测与在具有可控任务相关性与SNR的合成数据上训练所得的实证结果进行对比验证。

实验结果

研究问题

• RQ1 多任务学习如何影响具有Softmax输出的深度神经网络分类器的泛化性能？
• RQ2 任务相关性（由学习表征的奇异向量间夹角定义）在多任务收益中起什么作用？
• RQ3 辅助任务与主任务的信噪比（SNR）如何影响性能增益或退化？
• RQ4 在何种条件下多任务学习会增强或损害分类任务中的泛化性能？
• RQ5 基于统计物理的理论预测能否准确描述深度神经网络在多任务设置下的泛化动态？

主要发现

• 当辅助任务与主任务高度相关且SNR较高时，多任务收益 $MT_{A\leftarrow B}$ 达到最大值，该结果由任务表征间的相关性 $r_{AB}$ 衡量。
• 当 $r_{AB} > 0$ 时，提高辅助任务 $\hat{\boldsymbol{s}}_B$ 的SNR可增加多任务收益，原因在于学习特征对齐程度提升。
• 当辅助任务的SNR极高时（$\|\hat{\boldsymbol{s}}_B\| \gg 1$），多任务收益 $MT_{A\leftarrow B}$ 趋近于零，表明收益递减或可能出现负迁移。
• 提高 $r_{AB}$（任务相关性）可稳定提升 $MT_{A\leftarrow B}$，尤其在高SNR条件下，证实相关性有助于知识迁移。
• 在训练数据量趋于无穷大（$N_{\text{data}} \to \infty$）的极限下，多任务收益收敛于零，因为泛化误差与训练损失趋于相等。
• 数值实验在直线与ReLU网络上均验证了理论预测：相关且干净的任务可提升性能，而无关或含噪任务则导致性能下降。