[论文解读] A New Benchmark and Progress Toward Improved Weakly Supervised Learning.

Jason Ramapuram, Russ Webb|arXiv (Cornell University)|Jan 1, 2018

Machine Learning and Data Classification被引用 2

一句话总结

本文提出了 All-Pairs 基准，这是一个比以往弱监督学习任务更具挑战性且可扩展性更强的问题，并提出了 TypeNet，一种可学习的、空间可变的直方图模型，在模型大小超过十倍更小的情况下实现了 100% 的测试准确率，超越了 ResNet-34 的 79%。该方法通过自适应特征直方图整合先验知识，以改善优化和泛化能力。

ABSTRACT

Knowledge Matters: Importance of Prior Information for Optimization [7], by Gulcehre et. al., sought to establish the limits of current black-box, deep learning techniques by posing problems which are difficult to learn without engineering knowledge into the model or training procedure. In our work, we completely solve the previous Knowledge Matters problem using a generic model, pose a more difficult and scalable problem, All-Pairs, and advance this new problem by introducing a new learned, spatially-varying histogram model called TypeNet which outperforms conventional models on the problem. We present results on All-Pairs where our model achieves 100% test accuracy while the best ResNet models achieve 79% accuracy. In addition, our model is more than an order of magnitude smaller than Resnet-34. The challenge of solving larger-scale All-Pairs problems with high accuracy is presented to the community for investigation.

研究动机与目标

• 通过在模型设计中融入先验知识，识别并克服当前黑箱深度学习方法的局限性。
• 开发一个比以往弱监督学习问题更具可扩展性和挑战性的新基准，例如 Knowledge Matters 任务。
• 提出一种新型模型架构 TypeNet，利用空间可变直方图提升优化与泛化能力。
• 在新的 All-Pairs 基准上实现最先进性能，兼具高准确率与模型效率。

提出的方法

• 提出 All-Pairs 基准，作为比以往弱监督学习问题更具挑战性且可扩展的替代方案。
• 引入 TypeNet，一种可学习的、空间可变的直方图模型，可自适应地编码空间位置上的特征分布。
• 采用可微直方图机制，支持基于梯度的端到端训练。
• 利用关于特征重要性和空间结构的先验知识，指导直方图学习过程。
• 使用弱监督进行模型训练，其中监督信息仅限于类别级标签，无实例级标注。
• 采用标准深度学习训练流程，使用交叉熵损失和权重衰减进行模型优化。

实验结果

研究问题

• RQ1 通用深度学习模型是否能在不引入架构或归纳偏差的情况下解决原始 Knowledge Matters 问题？
• RQ2 当未编码先验知识时，标准深度学习模型在弱监督学习任务上的性能上限是什么？
• RQ3 可学习的空间可变直方图机制如何在弱监督设置中提升优化与准确率？
• RQ4 更小、更高效的模型是否能在更具挑战性的基准上超越更大的标准架构（如 ResNet-34）？

主要发现

• TypeNet 在 All-Pairs 基准上实现了 100% 的测试准确率，显著优于最佳的 ResNet-34 模型（仅达到 79% 准确率）。
• TypeNet 模型的参数量远小于 ResNet-34，表明其具有极高的参数效率。
• All-Pairs 基准被证明比以往的弱监督学习任务更具挑战性，暴露出标准深度学习模型的局限性。
• 通过空间可变直方图整合先验知识，显著提升了弱监督设置下的优化与泛化能力。
• 结果表明，通过在架构中引入结构归纳偏差，可显著提升模型效率与准确率。