[论文解读] D-optimal Bayesian Interrogation for Parameter and Noise Identification of Recurrent Neural Networks

Barnabás Póczos, András Lörincz|ArXiv.org|Jan 12, 2008

Fault Detection and Control Systems参考文献 14被引用 3

一句话总结

本文提出了一种D-最优贝叶斯质询框架，用于在线识别循环神经网络（RNNs）中的参数和加性噪声。通过应用D-最优性（信息最大化）原则，推导出参数估计和噪声方差估计的贪婪、无近似项的二次更新规则，揭示了这两个任务最优刺激之间存在根本性不相容性。

ABSTRACT

We introduce a novel online Bayesian method for the identification of a family of noisy recurrent neural networks (RNNs). We develop Bayesian active learning technique in order to optimize the interrogating stimuli given past experiences. In particular, we consider the unknown parameters as stochastic variables and use the D-optimality principle, also known as `\emph{infomax method}', to choose optimal stimuli. We apply a greedy technique to maximize the information gain concerning network parameters at each time step. We also derive the D-optimal estimation of the additive noise that perturbs the dynamical system of the RNN. Our analytical results are approximation-free. The analytic derivation gives rise to attractive quadratic update rules.

研究动机与目标

• 开发一种用于识别随机循环神经网络中参数与噪声的在线贝叶斯主动学习方法。
• 实时优化质询刺激，以最大化关于未知RNN参数的信息增益。
• 使用D-最优性估计RNN动力学中加性驱动噪声的协方差。
• 探究用于参数估计的最优刺激是否也适用于噪声估计。
• 为两个估计任务推导出分析上可处理、无近似项的学习规则。

提出的方法

• 将RNN动力学建模为具有加性i.i.d.高斯噪声的非线性随机系统。
• 应用在线贝叶斯推断，使用共轭先验：RNN权重使用矩阵正态分布，噪声协方差使用逆Wishart分布。
• 使用D-最优性（信息最大化）原则选择控制输入，以最大化后验Fisher信息矩阵的行列式。
• 为参数和噪声协方差估计推导出贪婪、闭式表达的二次更新规则。
• 提出一种启发式、非贪婪的“τ-信息最大化噪声质询”方案，结合D-最优探索与噪声特异性控制。
• 引入“τ-零质询”方案作为τ-信息最大化方法的实用近似。

实验结果

研究问题

• RQ1 D-最优贝叶斯质询能否同时用于识别RNN参数及其驱动噪声？
• RQ2 用于参数估计的最优控制信号是否也适用于噪声方差估计？
• RQ3 在该RNN模型中，在线贝叶斯学习的分析性、无近似项更新规则是什么？
• RQ4 非贪婪、多步前瞻策略能否提升噪声估计性能？
• RQ5 用于参数和噪声的D-最优控制规则在结构和行为上如何不同？

主要发现

• 用于参数估计的D-最优控制通过最大化后验Fisher信息矩阵的行列式，导出贪婪的二次更新规则。
• 用于噪声估计的D-最优控制通过最小化相同的行列式表达式，得到一种不同且互补的二次更新规则。
• 用于参数和噪声估计的最优刺激在根本上不相容：同一控制信号若能最大化关于参数的信息，则会最小化关于噪声的信息，反之亦然。
• 所提出的τ-信息最大化噪声质询启发式方法通过结合D-最优探索与针对性噪声估计，降低了RNN系数和噪声方差的估计误差。
• 当τ值较大时，τ-零质询方案可作为τ-信息最大化方案的良好近似，简化了实现。
• 所有推导均无近似项，得到分析上可处理的、二次的更新规则，从而实现高效的在线学习。