[论文解读] Collective Learning by Ensembles of Altruistic Diversifying Neural Networks

Benjamin Brazowski, Elad Schneidman|arXiv (Cornell University)|Jun 20, 2020

Neural dynamics and brain function参考文献 20被引用 5

一句话总结

本文提出了一种深度神经网络集成的协同学习框架，其中网络通过利他性、多样化耦合（负β）相互作用，以提升集成性能。通过在优化个体损失的同时，利用KL散度惩罚项促进预测多样性，该集成并非依赖于个体网络的卓越表现，而是通过结构专业化、激活稀疏化以及更宽的权重分布实现更优的准确率——优于独立训练或正向耦合的网络，即使个体网络性能下降亦如此。

ABSTRACT

Combining the predictions of collections of neural networks often outperforms the best single network. Such ensembles are typically trained independently, and their superior `wisdom of the crowd' originates from the differences between networks. Collective foraging and decision making in socially interacting animal groups is often improved or even optimal thanks to local information sharing between conspecifics. We therefore present a model for co-learning by ensembles of interacting neural networks that aim to maximize their own performance but also their functional relations to other networks. We show that ensembles of interacting networks outperform independent ones, and that optimal ensemble performance is reached when the coupling between networks increases diversity and degrades the performance of individual networks. Thus, even without a global goal for the ensemble, optimal collective behavior emerges from local interactions between networks. We show the scaling of optimal coupling strength with ensemble size, and that networks in these ensembles specialize functionally and become more `confident' in their assessments. Moreover, optimal co-learning networks differ structurally, relying on sparser activity, a wider range of synaptic weights, and higher firing rates - compared to independently trained networks. Finally, we explore interactions-based co-learning as a framework for expanding and boosting ensembles.

研究动机与目标

• 探究在训练过程中，神经网络之间的局部交互是否能在无全局优化目标的情况下提升集体性能。
• 探讨耦合强度与方向（正β与负β）对集成准确率及个体网络行为的影响。
• 理解通过多样化交互实现的协同学习是否导致个体网络在结构与功能上的专业化。
• 评估通过新增协同学习网络扩展或增强集成是否能超越简单平均或独立训练，实现性能提升。
• 确定负向耦合（尽管降低个体性能）是否通过增强多样性，最终实现最优的集成结果。

提出的方法

• 集成中每个网络最小化复合损失函数：其预测与真实标签之间的KL散度，加上与其他网络KL散度的耦合项。
• 耦合系数βij为负值，用于多样化交互，通过惩罚网络预测之间的相似性来促进多样性。
• 训练过程中，所有网络并行进行前向与反向传播，实现实时交互与联合优化。
• 框架采用多分类任务，使用随机梯度下降进行训练，并通过测试准确率与集成多样性指标评估性能。
• 集成性能通过网络预测的平均值衡量，并与独立训练模型及正向耦合集成进行比较。
• 通过向现有网络添加具有负向耦合的新网络，探索集成扩展，测试多种增强与微调策略。

实验结果

研究问题

• RQ1 即使个体网络准确率下降，相互作用的神经网络集成是否仍能优于独立训练的网络？
• RQ2 最大化集成准确率的最优耦合强度与符号（正或负）为何？
• RQ3 协同学习网络的结构与激活特性与独立训练或正向耦合网络有何不同？
• RQ4 通过添加新的协同学习网络扩展集成是否能提升性能？若能，其条件为何？
• RQ5 功能专业化与预测置信度的提升是否能自然地从网络间的利他性、多样化交互中产生？

主要发现

• 负向耦合（多样化）网络的集成优于独立训练网络与正向耦合集成，当个体网络准确率低于独立训练时达到最优性能。
• 当耦合增强多样性并降低个体网络性能时，最优集成性能出现，表明利他性交互可提升集体智能。
• 负向耦合网络表现出更稀疏的激活模式、更高的平均放电率，以及比独立或正向耦合网络更宽的突触权重分布。
• 在最优协同学习集成中，网络实现功能专业化，各自聚焦于输入空间的不同区域，从而产生更自信且多样的预测。
• 通过负向耦合重新训练全部15个网络，显著提升性能；而仅添加新独立或耦合网络且不重新训练则无改善。
• 最优耦合强度随集成规模增大而增加，表明网络数量与交互强度之间存在系统性关系，以实现峰值性能。