[论文解读] Adversarial Constraint Learning for Structured Prediction

Hongyu Ren, Russell J. Stewart+3 more|arXiv (Cornell University)|May 27, 2018

Time Series Analysis and Forecasting参考文献 17被引用 3

一句话总结

本文提出对抗约束学习（ACL），一种新颖的框架，通过对抗训练使模型生成的输出与黑箱模拟器输出难以区分，从而隐式学习结构化预测的结构约束。该方法在仅需极少标注数据的情况下实现高精度的半监督结构化预测——在姿态估计、跟踪和时间序列预测任务上均达到最先进性能，即使在无任何标注输入时，只要从模拟中学习到约束，也能实现优异表现。

ABSTRACT

Constraint-based learning reduces the burden of collecting labels by having users specify general properties of structured outputs, such as constraints imposed by physical laws. We propose a novel framework for simultaneously learning these constraints and using them for supervision, bypassing the difficulty of using domain expertise to manually specify constraints. Learning requires a black-box simulator of structured outputs, which generates valid labels, but need not model their corresponding inputs or the input-label relationship. At training time, we constrain the model to produce outputs that cannot be distinguished from simulated labels by adversarial training. Providing our framework with a small number of labeled inputs gives rise to a new semi-supervised structured prediction model; we evaluate this model on multiple tasks --- tracking, pose estimation and time series prediction --- and find that it achieves high accuracy with only a small number of labeled inputs. In some cases, no labels are required at all.

研究动机与目标

• 通过从数据中隐式学习约束，减少在结构化预测中对人工指定、领域特定约束的依赖。
• 解决高维、复杂输出结构中手工设计约束不切实际的问题。
• 通过结合小规模标注数据集与受对抗学习不变量约束的无标注数据，实现有效的半监督学习。
• 开发一种可泛化至多种结构化预测任务的框架，且无需输入-标签对来指定约束。

提出的方法

• 该框架采用生成对抗网络（GAN）风格设置，训练主模型与判别器，以区分真实模拟输出与模型生成的输出。
• 主模型通过欺骗判别器来优化，确保其输出与有效模拟标签的分布一致。
• 黑箱模拟器提供代表性标签样本（例如来自物理引擎或人工标注数据），而无需提供输入-标签关系。
• 该方法将小规模标注集上的监督学习与大规模无标注集上的对抗约束学习相结合，形成半监督结构化预测模型。
• 判别器被训练以判断给定输出是否来自模拟器或模型，而模型则被训练以最大化判别器的混淆度。
• 该方法隐式捕捉复杂结构不变量（例如人体姿态的合理性、时间序列动态），而无需显式公式化约束。

实验结果

研究问题

• RQ1 对抗训练能否在无需手工公式化约束的情况下，隐式学习结构化预测的结构约束？
• RQ2 当仅有少量标注输入时，所提出方法的性能如何？
• RQ3 该框架能否在姿态估计、跟踪和时间序列预测等多样化结构化预测任务中实现泛化？
• RQ4 在低数据场景下，对抗约束学习是否优于现有的半监督与弱监督基线方法？
• RQ5 模型能否通过从模拟器学习约束，利用不完整或部分标注的数据？

主要发现

• 在 Multi-Person Multi-Object Tracking（MOT）基准上，ACL仅使用7个标注组即达到PCK@0.1分数0.9469，优于使用全部标签的监督学习（0.9622），且在结合对抗训练后表现更优。
• 在 MPII 人体姿态数据集的姿态估计任务中，ACL使用7个标注组达到PCK@0.1分数0.8161，显著优于使用相同标注集的监督学习方法。
• 在 SML2010 数据集的时间序列预测任务中，ACL在温度预测上的平均绝对误差（MAE）为1.933，湿度预测为3.042，尽管标注数据有限，仍持续优于监督学习基线。
• 该方法能有效防止对小规模标注集的过拟合，即使训练误差更高，测试误差仍低于监督基线。
• ACL可利用不完整数据（如仅含温度数据的组）进行学习，通过模拟器提供湿度样本，实现在无完整标签监督下的约束学习。
• 该框架在所有评估任务中均达到最先进性能，尤其在低数据场景下表现突出，证明了隐式约束学习的有效性。