[论文解读] On-Chip Optical Convolutional Neural Networks

Hengameh Bagherian, Scott A. Skirlo+4 more|arXiv (Cornell University)|Aug 9, 2018

Neural Networks and Reservoir Computing参考文献 1被引用 57

一句话总结

论文提出一种基于光子学的卷积神经网络架构，在芯片上实现，使用 MZI 网络、光学非线性和时延线进行快速、低功耗的 CNN 推断，时间复用的光学计算。它还讨论一种混合光电子方法及实际挑战。

ABSTRACT

Convolutional Neural Networks (CNNs) are a class of Artificial Neural Networks(ANNs) that employ the method of convolving input images with filter-kernels for object recognition and classification purposes. In this paper, we propose a photonics circuit architecture which could consume a fraction of energy per inference compared with state of the art electronics.

研究动机与目标

• 推动对比GPU和传统电子学之外的节能高吞吐 CNN 推断的需求。
• 介绍一种能够在芯片上实现卷积核、池化和非线性的集成光子架构。
• 详细描述一种时分复用的光学矩阵乘法方法，以在 CNN 各层实现内核点积运算。
• 讨论实际实现选项，包括全光实现和光电子混合设置，并概述工程挑战。

提出的方法

• 使用一组 Mach-Zehnder 干涉仪（MZI）网络，通过 Reck 对从 SVD 分解得到的单位元件 M_i = U Σ V 的编码实现核矩阵。
• 将核/像素补丁编码为相干光脉冲，并逐补丁地与核矩阵执行点积以获得时间序列输出。
• 对输出应用光学非线性（例如石墨烯饱和吸收体），使其具备类似 CNN 的激活函数。
• 使用光学延迟线将核点积重新打包成用于下一层的新输入补丁，使在光子平台上实现多层 CNN。
• 将池化处理视为带步长的卷积，并通过延迟线/分路网络实现重新打包以形成下一层补丁。
• 可选地讨论一种光电子混合配置，以减轻实现挑战并利用模拟 CMOS 非线性和存储元件。

实验结果

研究问题

• RQ1 一个光子集成电路是否能够在与电子对等的准确度下执行 CNN 的卷积、池化和非线性？
• RQ2 光学卷积在典型 CNN（如 AlexNet 规模）上能提供哪些能耗和速度优势，有限因素是什么？
• RQ3 MZI 相位编码误差和非线性如何影响光学 CNN 的推断准确性？
• RQ4 在保持在芯片上的前提下，哪些可行的架构（全光还是混合光学）可以最大化吞吐量并最小化功耗？

主要发现

• 一种光学卷积架构可能达到每秒数百万次推断，约每次推断 2 mJ。
• 据称该系统比 GPU 启用的 AlexNet 推断快约 30 倍，同时总功率相似。
• 完全片上光子实现依赖于 MZI 网络进行矩阵乘法、光学非线性，以及通过时延线实现的精确时间分复用重新打包。
• 一种光电子混合设置可以通过用 CMOS 模拟电路和存储器实现困难的光学元件来降低芯片面积和复杂度。
• 能量与性能的说法取决于实际器件带宽和探测器速度，附录中给出详细的能耗分析。