[论文解读] Deep Reinforcement One-Shot Learning for Artificially Intelligent Classification Systems

Anton Puzanov, Kobi Cohen|arXiv (Cornell University)|Aug 4, 2018

Anomaly Detection Techniques and Applications参考文献 34被引用 15

一句话总结

本文提出了一种新型深度强化学习框架——深度强化一次学习（DeROL），该框架能够动态决定是否自动分类罕见事件，或将其路由至人工分析员，以在资源受限条件下优化系统整体性能。与传统的基于阈值的方法及最小置信度主动学习基线相比，DeROL通过学习自适应策略，在最大化累积奖励的同时最小化延迟和人工分析员的工作负担。

ABSTRACT

In recent years there has been a sharp rise in networking applications, in which significant events need to be classified but only a few training instances are available. These are known as cases of one-shot learning. Examples include analyzing network traffic under zero-day attacks, and computer vision tasks by sensor networks deployed in the field. To handle this challenging task, organizations often use human analysts to classify events under high uncertainty. Existing algorithms use a threshold-based mechanism to decide whether to classify an object automatically or send it to an analyst for deeper inspection. However, this approach leads to a significant waste of resources since it does not take the practical temporal constraints of system resources into account. Our contribution is threefold. First, we develop a novel Deep Reinforcement One-shot Learning (DeROL) framework to address this challenge. The basic idea of the DeROL algorithm is to train a deep-Q network to obtain a policy which is oblivious to the unseen classes in the testing data. Then, in real-time, DeROL maps the current state of the one-shot learning process to operational actions based on the trained deep-Q network, to maximize the objective function. Second, we develop the first open-source software for practical artificially intelligent one-shot classification systems with limited resources for the benefit of researchers in related fields. Third, we present an extensive experimental study using the OMNIGLOT dataset for computer vision tasks and the UNSW-NB15 dataset for intrusion detection tasks that demonstrates the versatility and efficiency of the DeROL framework.

研究动机与目标

• 解决在真实系统中仅存在少量或无新类别训练样本的一次学习挑战。
• 克服现有基于阈值的路由机制效率低下的问题，这些机制在未考虑时间或资源约束的情况下浪费了人工分析员的时间。
• 开发一种自适应、自调优的AI系统，能够实时从人工分析员的反馈中学习，以改进分类决策，而无需手动调整超参数。
• 证明该框架在不同领域中的通用性，包括计算机视觉（OMNIGLOT）和网络入侵检测（UNSW-NB15）。

提出的方法

• 将一次分类决策过程建模为马尔可夫决策过程（MDP），其中智能体根据当前状态选择动作（自动分类或发送至分析员）。
• 训练一个深度Q网络（DQN）以学习映射输入状态（如特征嵌入、类别记忆、分析员负载）到动作的策略，从而最大化自定义奖励函数。
• 设计一个奖励函数，对错误分类进行惩罚（例如，将恶意样本误判为正常样本的惩罚为-30），对延迟进行惩罚（RD = -2TD/10），对分析员工作量进行惩罚（RA = -0.5·LA(t)），同时奖励正确决策。
• 在UNSW-NB15任务中使用欧几里得距离进行相似性比较，与OMNIGLOT中使用的图像专用度量（如改进的豪斯多夫距离）不同。
• 实现一种动态记忆机制，每类最多存储20个样本（正常与恶意样本均衡），以模拟一次学习条件。
• 在DQN训练过程中应用经验回放和目标网络，以稳定学习过程并提升高维状态空间中的收敛性。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能够在无需手动调整超参数的情况下，学习到在一次学习场景中做出最优路由决策（自动分类 vs. 人工分类）？
• RQ2 在分析员资源有限且时间受限的条件下，DeROL框架相较于传统的基于阈值方法和最小置信度主动学习方法表现如何？
• RQ3 DeROL框架在不同的一次分类任务（如图像识别与网络入侵检测）中具有多大程度的泛化能力？
• RQ4 系统如何适应环境条件的变化，例如分析员负载波动或事件处理延迟？
• RQ5 奖励函数设计对策略收敛性及真实部署场景中分类准确率的影响如何？

主要发现

• DeROL算法收敛至稳定策略，在OMNIGLOT和UNSW-NB15数据集上累积奖励显著优于最小置信度主动学习基线。
• 该框架在一次学习条件下实现了超过99%的分类准确率（定义为（正确分类数 + 标签请求数）/ 总样本数），表现出高度可靠性。
• 策略有效避免了样本延迟，表现为延迟奖励线性下降（RD = -2TD/10），从而激励快速决策。
• 系统通过动态奖励机制（RA = -0.5·LA(t)）适应不同的分析员负载，在分析员繁忙时减少对其依赖。
• DeROL框架在极少架构修改下成功处理了基于图像（OMNIGLOT）和基于网络（UNSW-NB15）的分类任务，证明了其通用性。
• 图7(b)中的实证动作概率显示，策略仅在必要时才延迟分类，表明其基于置信度和系统状态的智能路由能力。