[论文解读] Metasurface-Enabled On-Chip Multiplexed Diffractive Neural Networks in the Visible

Xuhao Luo, Hu Yueqiang+5 more|arXiv (Cornell University)|Jul 13, 2021

Neural Networks and Reservoir Computing被引用 8

一句话总结

该论文提出了一种集成超表面的片上衍射神经网络，通过偏振复用技术在可见光谱范围内实现多通道、多任务光学分类。通过将亚波长纳米结构与CMOS图像传感器结合，该系统每通道实现高达6.25×10⁶个人工神经元/mm²，展示了以光速实现对数字和时尚物品的全光学、实时识别。

ABSTRACT

Replacing electrons with photons is a compelling route towards light-speed, highly parallel, and low-power artificial intelligence computing. Recently, all-optical diffractive neural deep neural networks have been demonstrated. However, the existing architectures often comprise bulky components and, most critically, they cannot mimic the human brain for multitasking. Here, we demonstrate a multi-skilled diffractive neural network based on a metasurface device, which can perform on-chip multi-channel sensing and multitasking at the speed of light in the visible. The metasurface is integrated with a complementary metal oxide semiconductor imaging sensor. Polarization multiplexing scheme of the subwavelength nanostructures are applied to construct a multi-channel classifier framework for simultaneous recognition of digital and fashionable items. The areal density of the artificial neurons can reach up to 6.25x106/mm2 multiplied by the number of channels. Our platform provides an integrated solution with all-optical on-chip sensing and computing for applications in machine vision, autonomous driving, and precision medicine.

研究动机与目标

• 为克服现有光学神经网络体积庞大、功能单一的局限，实现在可见光谱范围内的片上多任务计算。
• 通过集成偏振复用技术，解决现有全光学神经网络缺乏多任务处理能力的问题，实现并行分类。
• 实现高面积密度的人工神经元，以支持紧凑、可扩展的片上光学人工智能系统。
• 将超表面与CMOS图像传感器集成，实现全片上光学传感与计算。
• 通过可见光光学推理的实际应用，展示其在机器视觉、自动驾驶和精准医疗中的潜力。

提出的方法

• 设计具有亚波长纳米结构的超表面，以调控入射光的振幅和相位，实现偏振复用。
• 设计超表面以支持两种正交偏振态，从而实现两条独立的光学通路，用于同时处理分类任务。
• 将超表面直接与互补金属氧化物半导体（CMOS）图像传感器集成，实现片上光学信号检测。
• 训练衍射深度神经网络，根据偏振态将输入图像映射到特定输出通道，实现多通道推理。
• 采用基于反向传播的优化框架，训练超表面的几何参数，以实现期望的衍射图案。
• 通过利用超表面结构的亚波长周期性和空间复用特性，实现高面积神经元密度。

实验结果

研究问题

• RQ1 基于超表面的片上系统是否能在可见光谱范围内同时执行多个分类任务？
• RQ2 如何利用偏振复用技术提升衍射神经网络的信息承载能力？
• RQ3 可见光、片上衍射神经网络中可实现的最大人工神经元面积密度是多少？
• RQ4 超表面与CMOS传感器的集成是否能够实现全片上光学传感与计算，以支持实时人工智能推理？
• RQ5 此类系统在光学神经处理中，其多任务处理能力在多大程度上可复现人类大脑的功能？

主要发现

• 该超表面增强系统实现了每通道高达6.25×10⁶个神经元/mm²的神经元面积密度，显著超过传统光学神经网络。
• 该平台成功利用正交偏振态实现了对数码产品和时尚物品的同步、多通道分类。
• 系统以光速运行，无需电子信号转换，实现了超低延迟的光学推理。
• 超表面与CMOS图像传感器的集成实现了全片上光学传感与计算，显著减小了系统尺寸并降低了功耗。
• 偏振复用方案可实现两个独立分类任务的并行处理，且无串扰。
• 衍射神经网络在可见光谱范围内对复杂视觉模式表现出稳健的分类性能，验证了其在实际人工智能应用中的潜力。