[论文解读] Knowledge Matters: Importance of Prior Information for Optimization

Çaǧlar Gülçehre, Yoshua Bengio|arXiv (Cornell University)|Jan 17, 2013

Advanced Image and Video Retrieval Techniques参考文献 40被引用 104

一句话总结

本文研究了为何某些深度学习任务对黑箱算法和标准神经网络会失败，表明通过引入中间概念监督（如图像中的物体存在）作为先验知识，可实现成功的优化。采用带有引导提示的两级MLP，模型在涉及相同精灵检测的组合性难题上实现了接近完美的性能，而随机初始化和无监督预训练则失败，凸显了病态条件和不良局部极小值带来的优化困难。

ABSTRACT

We explore the effect of introducing prior information into the intermediate level of neural networks for a learning task on which all the state-of-the-art machine learning algorithms tested failed to learn. We motivate our work from the hypothesis that humans learn such intermediate concepts from other individuals via a form of supervision or guidance using a curriculum. The experiments we have conducted provide positive evidence in favor of this hypothesis. In our experiments, a two-tiered MLP architecture is trained on a dataset with 64x64 binary inputs images, each image with three sprites. The final task is to decide whether all the sprites are the same or one of them is different. Sprites are pentomino tetris shapes and they are placed in an image with different locations using scaling and rotation transformations. The first part of the two-tiered MLP is pre-trained with intermediate-level targets being the presence of sprites at each location, while the second part takes the output of the first part as input and predicts the final task's target binary event. The two-tiered MLP architecture, with a few tens of thousand examples, was able to learn the task perfectly, whereas all other algorithms (include unsupervised pre-training, but also traditional algorithms like SVMs, decision trees and boosting) all perform no better than chance. We hypothesize that the optimization difficulty involved when the intermediate pre-training is not performed is due to the {\em composition} of two highly non-linear tasks. Our findings are also consistent with hypotheses on cultural learning inspired by the observations of optimization problems with deep learning, presumably because of effective local minima.

研究动机与目标

• 探究中间概念的先验信息是否能克服标准算法无法处理的深度学习任务中的优化失败问题。
• 检验深度网络在组合性非线性任务上失败的原因是否源于优化障碍而非正则化问题。
• 评估架构约束与训练过程在实现有效局部极小值收敛中的作用。
• 检验假设：通过其他智能体的引导实现类人文化学习，可缓解人工神经网络中的优化困难。
• 探索是否可通过中间监督的课程学习将原本不可解的任务转化为可解任务，即使数据有限。

提出的方法

• 采用两级MLP架构，其中第一隐藏层预先训练以检测单个精灵类别（存在与位置），且独立于方向与尺度。
• 网络的第二部分利用第一层的输出作为监督提示，预测二分类任务：图像中三个精灵是否均为相同形状。
• 对中间层激活进行标准化，以改善优化动态并减少病态条件。
• 实验比较了标准MLP（随机初始化）、带与不带提示的SMLP，以及具有架构约束和替代训练程序的变体。
• 训练过程使用在线SGD，并在包含三个Pentomino精灵的64×64图像大规模合成数据集上评估泛化性能。
• 尝试在中间概念上进行无监督预训练，但未能解决该任务，表明无监督特征学习在此类组合性难题中存在局限性。

实验结果

研究问题

• RQ1 引入中间概念监督（如物体存在）是否能将一个困难的优化问题转化为深度神经网络可解的问题？
• RQ2 该任务中标准深度网络的失败是否源于优化困难（如病态条件或无效局部极小值），而非过拟合或正则化问题？
• RQ3 即使具备足够容量，架构或训练过程是否显著影响找到良好泛化解的能力？
• RQ4 在中间特征上进行无监督预训练能否解决该任务，还是因组合性任务的本质而失败？
• RQ5 先验知识或另一智能体（以提示形式）的引导在多大程度上能促进学习高层抽象，而这些抽象在端到端训练中原本无法达到？

主要发现

• 带有精灵存在与位置中间监督的两级MLP在测试中实现了接近完美的性能，成功解决了黑箱算法和标准深度网络均失败的任务。
• 同一架构若从随机初始化开始且无提示，测试准确率仅为27.5%，表明存在严重的优化困难，而非正则化问题。
• 中间层激活的标准化显著改善了训练动态，并帮助模型逃离不良的有效局部极小值。
• 在中间特征上进行无监督预训练未能解决该任务，表明无监督特征学习不足以应对此类组合性复杂问题。
• 即使拥有105万条训练样本，无提示的标准MLP仍远未达到最优，表明优化障碍在大规模数据下依然存在。
• 结果支持该任务困难源于两个高度非线性子任务的组合，导致其易受病态条件和收敛不良影响，除非引入架构或归纳偏置。