[论文解读] Parallel photonic reservoir computing using frequency multiplexing of neurons

Akram Akrout, Arno Bouwens+4 more|arXiv (Cornell University)|Dec 24, 2016

Neural Networks and Reservoir Computing参考文献 20被引用 11

一句话总结

本文提出了一种并行光子储藏室计算机，通过频率域复用技术同时处理所有神经元状态，克服了传统时域复用系统在速度上的限制。通过将神经元状态编码在不同的光频率信道中，该架构实现了高速处理，13个神经元的储藏室在语音识别和非线性系统重构等基准任务上的表现与以往的时域复用光子系统相当。

ABSTRACT

Today's unrelenting increase in demand for information processing creates the need for novel computing concepts. Reservoir computing is such a concept that lends itself particularly well to photonic hardware implementations. Over recent years, these hardware implementations have gained maturity and now achieve state-of-the-art performance on several benchmark tasks. However, implementations so far are essentially all based on sequential data processing, leaving the inherent parallelism of photonics unexploited. Parallel implementations process all neurons simultaneously, and therefore have the potential of reducing computation time by a factor equal to the number of neurons, compared to sequential architectures. Here, we report a parallel reservoir computer that uses frequency domain multiplexing of neuron states. We illustrate its performance on standard benchmark tasks such as nonlinear channel equalization, the reproduction of a nonlinear 10th-order system, and speech recognition, obtaining error rates similar to previous optical experiments. The present experiment is thus an important step towards high speed, low footprint, all optical photonic information processing.

研究动机与目标

• 解决由于时域复用中神经元状态逐个处理而造成的光子储藏室计算速度瓶颈。
• 通过在频率域而非时域复用神经元状态，利用光学系统固有的并行性。
• 展示一种概念验证的并行储藏室计算机，保持高性能的同时实现更高的输入更新速率。
• 探索在不增加处理时间或占用面积的前提下扩展神经元数量的可行性。
• 在标准基准任务（如语音识别和非线性系统辨识）上评估系统的性能。

提出的方法

• 利用由微波信号驱动的相位调制器，将神经元状态编码为光频率域中的边带。
• 储藏室被实现为一个具有延迟反馈的非线性节点，其中每个频率边带对应一个独立的神经元。
• 系统采用相干光处理，通过振幅和相位调制编码输入信号并实现非线性动力学。
• 使用可调带通滤波器依次读出每个频率复用神经元状态的响应。
• 输出层对神经元响应进行加权求和，通过线性回归优化输出权重完成训练。
• 该架构利用光频率梳源或超宽带调制器，以增加可用于神经元状态的频率信道数量。

实验结果

研究问题

• RQ1 神经元状态的频率域复用是否能在光子储藏室计算中实现真正的并行处理？
• RQ2 与传统的时域复用光子系统相比，频率复用储藏室计算机在标准基准任务上的性能如何？
• RQ3 当前实现中可用神经元数量的限制因素是什么？这些限制能否通过改进硬件来克服？
• RQ4 通过消除时域复用，输入更新速率能否显著提高？其实际约束条件是什么？
• RQ5 是否可行将输出层处理完全集成在光域中，以保持全光操作？

主要发现

• 在TIMIT语音识别任务中，频率复用光子储藏室计算机在仿真中实现了2.1%（±1.2）的词错误率（WER），实验中为2.8%（±1.5），与以往时域复用光子系统的性能相当。
• 系统在非线性信道均衡和10阶非线性系统重构任务中表现成功，误差率与以往的光学生实验结果一致。
• 尽管仅使用13个神经元，结果与神经元数量增加时性能提升的预期一致：200个神经元的仿真结果显示WER为0.15%（±0.1）。
• 输入更新速率仅受腔往返时间τ限制，与神经元数量无关，因此相比串行架构，理论上可实现N倍的速度提升。
• 当前的主要限制是可用频率信道数量较少（13个），主要源于调制深度和滤波器分辨率的硬件限制。
• 未来与片上谐振腔和锁模激光器集成，有望实现约100个神经元，输入更新时间低至200 ps至1 ns，从而在速度和占用面积上超越现有系统。