[论文解读] Introduction to the "Industrial Benchmark"

Daniel Hein, Alexander Hentschel+3 more|arXiv (Cornell University)|Oct 12, 2016

Domain Adaptation and Few-Shot Learning参考文献 2被引用 4

一句话总结

本文提出了工业基准（Industrial Benchmark, IB），一个旨在模拟真实工业系统复杂性的连续控制强化学习环境。该环境具备高维、部分可观测的状态，存在延迟效应、多目标奖励以及异方差动力学特性。关键结果表明，最大熵策略实现了平均奖励 -290.8 ± 0.6，而策略梯度方法进一步提升至 -270。

ABSTRACT

A novel reinforcement learning benchmark, called Industrial Benchmark, is introduced. The Industrial Benchmark aims at being be realistic in the sense, that it includes a variety of aspects that we found to be vital in industrial applications. It is not designed to be an approximation of any real system, but to pose the same hardness and complexity.

研究动机与目标

• 开发一个真实、通用的强化学习基准，以捕捉工业控制系统中的核心挑战。
• 通过建模标准基准中不存在的复杂真实动力学，弥合基于仿真测试与实际部署之间的差距。
• 支持多种机器学习方法的评估，包括策略学习、系统辨识与迁移学习。
• 提供一个标准化环境，用于在模拟真实工业约束（如部分可观测性与延迟效应）的条件下评估强化学习算法。
• 通过使用最大熵策略生成数据，支持离策略学习，从而促进系统辨识与策略训练。

提出的方法

• 工业基准被建模为一个连续的、部分可观测的马尔可夫决策过程，其动作空间为三维，范围在 [-1, 1]^3 内，分别影响三个转向变量：速度、增益与换挡。
• 状态转移由非线性、有界的更新规则控制，采用不同的步长：Δv、Δg 与 αsΔs（αs ≈ 5.75），以确保真实可控动力学。
• 环境中包含一个恒定或随时间变化的外部设定点 p(t)，其影响系统行为但无法通过动作控制。
• 奖励函数为多准则函数，结合运行成本与疲劳度，且对动作具有相反依赖关系，形成权衡优化问题。
• 潜在变量（疲劳 h_v, h_g）驱动状态相关的噪声与异方差动力学，提升真实感与复杂性。
• 通过在10个设定点上使用最大熵策略生成离策略训练数据，共产生10,000个数据点，用于系统辨识与策略学习。

实验结果

研究问题

• RQ1 一个仿真环境是否能在不近似任何特定真实装置的前提下，真实再现真实工业控制系统中的复杂性与挑战？
• RQ2 机器学习模型在部分观测条件下，对关键系统变量（如运行成本、疲劳度与奖励）的估计能力如何？
• RQ3 在高维、部分可观测、多目标控制设置下，策略梯度与基于Q-learning的方法在多大程度上能超越基线最大熵策略？
• RQ4 延迟效应、状态相关噪声与潜在变量对强化学习与系统辨识算法性能的影响如何？
• RQ5 该基准是否能在统一框架下支持多种学习范式，如迁移学习、主动学习与特征选择？

主要发现

• 最大熵策略在10个设定点上实现了平均奖励 -290.8 ± 0.6，标准差为20。
• 循环神经网络对总奖励（RewardTotal）的估计，其平均相对绝对偏差（MRABD）约为10%。
• 运行成本（c）的估计MRABD为3.6%，表明回归性能优异。
• 疲劳度（f）的估计MRABD为24%（当 f > 1 时），反映出该潜在变量存在更高不确定性。
• 基于策略梯度的方法（PGNRR）以及将NFQ扩展至连续动作的方法，使平均奖励提升至约 -270。
• 由于其真实、高维且部分可观测的结构，该基准支持多样化的学习任务，包括系统辨识、策略学习与迁移学习。