[论文解读] Deep Predictive Coding Network for Object Recognition

Haiguang Wen, Kuan Han+4 more|arXiv (Cornell University)|Feb 13, 2018

Cell Image Analysis Techniques参考文献 53被引用 41

一句话总结

基于预测编码的双向循环神经网络，通过递归的自下而上和自上而下处理来提高对象识别，在计算周期增加时，优于仅前馈的基线，适用于标准数据集。

ABSTRACT

Based on the predictive coding theory in neuroscience, we designed a bi-directional and recurrent neural net, namely deep predictive coding networks (PCN). It has feedforward, feedback, and recurrent connections. Feedback connections from a higher layer carry the prediction of its lower-layer representation; feedforward connections carry the prediction errors to its higher-layer. Given image input, PCN runs recursive cycles of bottom-up and top-down computation to update its internal representations and reduce the difference between bottom-up input and top-down prediction at every layer. After multiple cycles of recursive updating, the representation is used for image classification. With benchmark data (CIFAR-10/100, SVHN, and MNIST), PCN was found to always outperform its feedforward-only counterpart: a model without any mechanism for recurrent dynamics. Its performance tended to improve given more cycles of computation over time. In short, PCN reuses a single architecture to recursively run bottom-up and top-down processes. As a dynamical system, PCN can be unfolded to a feedforward model that becomes deeper and deeper over time, while refining it representation towards more accurate and definitive object recognition.

研究动机与目标

• 将预测编码理论转化为具有前馈、反馈和循环连接的深度网络用于对象识别。
• 开发一个通过递归的自下而上和自上而下循环更新内部表示，以在每层尽量减小预测误差的模型。
• 在标准基准数据集（CIFAR-10/100、SVHN、MNIST）上评估该方法并与仅前馈的基线进行比较。
• 分析计算周期数量增加如何影响识别性能。

提出的方法

• 设计一种双向、带有反馈和循环连接的递归神经网络，称为深度预测编码网络（PCN），具有来自更高层的反馈。
• 高层的反馈携带对下层表示的预测，而自下而上的信号将预测误差传递到更高层。
• 迭代运行自下而上和自上而下的处理周期，以减少输入与顶层预测在各层之间的差异。
• 将该动态系统逐步展开为一个随着表示细化而逐渐更深的前馈模型，以用于对象识别。
• 在 CIFAR-10/100、SVHN 和 MNIST 上对 PCN 进行实证评估，并与非循环前馈对比。

实验结果

研究问题

• RQ1 基于预测编码的网络是否能够在标准对象识别基准上优于传统前馈网络？
• RQ2 递归计算周期的数量如何影响这些基准上的识别准确性？
• RQ3 更高层的反馈和循环连接是否有助于获得更准确的内部表征用于分类？

主要发现

• PCN 在各基准数据集上均优于其仅前馈的对比模型。
• 随着更多计算周期的执行，性能逐步提升。
• 该模型复用单一架构进行递归的自下而上和自上而下处理，精炼表示以实现更准确的识别。