[论文解读] Image sensing with multilayer, nonlinear optical neural networks

Tianyu Wang, Mandar M. Sohoni+6 more|arXiv (Cornell University)|Jul 27, 2022

Neural Networks and Reservoir Computing被引用 16

一句话总结

本文提出一种多层非线性光学神经网络（ONN）预处理器，用于图像传感，利用商用图像增强器作为并行、光电、光-光非线性激活函数。该方法在物体识别和细胞器分类等任务中实现了高达800:1的压缩比，同时保持高精度，其性能优于线性ONN编码器，得益于网络深度和非线性特性。

ABSTRACT

Optical imaging is commonly used for both scientific and technological applications across industry and academia. In image sensing, a measurement, such as of an object's position, is performed by computational analysis of a digitized image. An emerging image-sensing paradigm breaks this delineation between data collection and analysis by designing optical components to perform not imaging, but encoding. By optically encoding images into a compressed, low-dimensional latent space suitable for efficient post-analysis, these image sensors can operate with fewer pixels and fewer photons, allowing higher-throughput, lower-latency operation. Optical neural networks (ONNs) offer a platform for processing data in the analog, optical domain. ONN-based sensors have however been limited to linear processing, but nonlinearity is a prerequisite for depth, and multilayer NNs significantly outperform shallow NNs on many tasks. Here, we realize a multilayer ONN pre-processor for image sensing, using a commercial image intensifier as a parallel optoelectronic, optical-to-optical nonlinear activation function. We demonstrate that the nonlinear ONN pre-processor can achieve compression ratios of up to 800:1 while still enabling high accuracy across several representative computer-vision tasks, including machine-vision benchmarks, flow-cytometry image classification, and identification of objects in real scenes. In all cases we find that the ONN's nonlinearity and depth allowed it to outperform a purely linear ONN encoder. Although our experiments are specialized to ONN sensors for incoherent-light images, alternative ONN platforms should facilitate a range of ONN sensors. These ONN sensors may surpass conventional sensors by pre-processing optical information in spatial, temporal, and/or spectral dimensions, potentially with coherent and quantum qualities, all natively in the optical domain.

研究动机与目标

• 通过用模拟光学预处理替代数字化图像处理，克服传统图像传感器中的性能瓶颈。
• 通过设计执行计算编码而非传统成像的光学元件，实现高分辨率、低延迟的图像传感。
• 证明多层非线性ONN在图像传感任务中可显著优于单层线性ONN。
• 验证商用图像增强器作为光学神经网络中非线性激活函数在真实世界图像传感应用中的可行性。
• 探索基于ONN的传感器在速度、能效和光子经济性方面超越传统传感器的潜力，通过在光学域原生处理信息实现。

提出的方法

• 作者利用商用图像增强器实现多层ONN预处理器，提供并行、光电、光-光非线性激活，实现真正的非线性处理。
• 系统采用宽幅100×100输入图像尺寸，并在两层全连接ONN中应用200维瓶颈层，更深的架构（如CNN1和CNN3）则整合了光学卷积层。
• 为匹配非相干光条件，强制使用非负权重，并在仿真中模拟物理噪声以反映真实光学限制。
• 光学编码器将高维图像映射到压缩的潜在空间，随后由线性分类器解码，以执行物体识别和细胞器分类等任务。
• 设计包含可训练的批量归一化层，后接类似ReLU的激活，可通过光学控制的VCSEL或LED阵列实现阈值-线性行为。
• 池化操作通过光学求和（AvgPool）或阈值限制激活（MaxPool）实现，后者通过限制能量输入以抑制次级响应来近似。

Figure 1 : A multilayer optical-neural-network encoder as a frontend for image sensing. a , Image sensing via direct imaging vs optical encoding. In conventional image sensing, an image is collected by a camera, and processed, often using a neural network (NN), to extract a small piece of relevant i

实验结果

研究问题

• RQ1 多层非线性光学神经网络是否能在保持分类精度的前提下，实现远高于线性ONN编码器的图像压缩比？
• RQ2 在光学预处理器中引入非线性和深度是否能在真实世界图像传感任务中带来可测量的性能提升？
• RQ3 商用图像增强器是否能有效作为ONN架构中并行、光电、光-光非线性激活函数？
• RQ4 光学神经网络在空间、时间及/或光谱维度上对图像进行预处理的潜力有多大，能否实现更快、更低功耗、更高效的光子利用？
• RQ5 基于非相干光的ONN编码器与相干光版本相比，其性能表现如何，特别是在可实现的精度和压缩效率方面？

主要发现

• 非线性多层ONN预处理器实现了高达800:1的压缩比，将10,000维输入图像压缩为二维输出向量，同时保持高分类精度。
• 更深的ONN架构（如含三层光学卷积层的CNN3）在高倍率压缩下优于浅层和线性ONN编码器，证明了深度与非线性的优势。
• 系统在10类细胞器分类任务中表现优异，准确率接近在相同数据上训练的ResNet-18分类器，表明其具有强大的表征能力。
• 使用商用图像增强器作为非线性激活函数，实现了高效的光-光转换，且电子反馈极少，支持并行、实时处理。
• 仿真结果表明，非负权重（非相干光）的性能受限于实值权重，提示相干光ONN可能实现更优结果。
• 结果表明，基于ONN的传感器可通过在模拟域预处理光学数据，实现比传统传感器更快、更小、更节能的图像传感。