[论文解读] Intelligent Multi-channel Meta-imagers for Accelerating Machine Vision

Hanyu Zheng, Quan Liu+4 more|arXiv (Cornell University)|Jun 12, 2023

Metamaterials and Metasurfaces Applications被引用 5

一句话总结

本文提出了一种智能多通道超表面成像仪，通过将计算密集型的卷积运算卸载到无源、低功耗的光学系统中，利用超表面实现机器视觉的加速。通过实现同时的角域与偏振复用，该装置可在单次光学采集中完成正负卷积运算，实现在MNIST数据集上98.6%的准确率和Fashion-MNIST数据集上88.8%的准确率，展现出紧凑、高速且能效高效的性能。

ABSTRACT

Rapid developments in machine vision have led to advances in a variety of industries, from medical image analysis to autonomous systems. These achievements, however, typically necessitate digital neural networks with heavy computational requirements, which are limited by high energy consumption and further hinder real-time decision-making when computation resources are not accessible. Here, we demonstrate an intelligent meta-imager that is designed to work in concert with a digital back-end to off-load computationally expensive convolution operations into high-speed and low-power optics. In this architecture, metasurfaces enable both angle and polarization multiplexing to create multiple information channels that perform positive and negatively valued convolution operations in a single shot. The meta-imager is employed for object classification, experimentally achieving 98.6% accurate classification of handwritten digits and 88.8% accuracy in classifying fashion images. With compactness, high speed, and low power consumption, this approach could find a wide range of applications in artificial intelligence and machine vision applications.

研究动机与目标

• 为解决数字神经网络在机器视觉应用中计算成本高和能耗大的问题。
• 通过将卷积运算从数字处理器转移到光学域，实现在资源受限环境中的实时推理。
• 设计一种紧凑、低功耗的光学系统，能够在单次采集中执行复杂的卷积运算。
• 展示利用超表面实现多通道、多偏振和多角度光学卷积以加速人工智能的可行性。
• 通过实验光学硬件在标准图像分类基准上验证系统性能。

提出的方法

• 该超表面成像仪采用超表面，基于入射光的入射角和偏振态对光场进行空间复用，形成多个独立的光学通道。
• 每个通道通过调控超表面的相位和振幅响应，执行特定的卷积运算——可为正卷积或负卷积。
• 系统利用角域和偏振复用技术，在不增加硬件复杂度的前提下，显著提升有效卷积核的数量。
• 光学输出由数字相机捕获，并由轻量级神经网络处理以完成输入图像的分类。
• 采用逆向设计方法设计超表面，以实现特定卷积运算的目标传递函数。
• 通过包含实时图像输入与分类的原理样机实验，对系统架构进行了验证。

实验结果

研究问题

• RQ1 是否可利用超表面通过角域与偏振复用实现多个卷积运算的并行处理？
• RQ2 光学卷积在多大程度上可降低机器视觉系统中数字处理器的计算负载？
• RQ3 无源光学系统对标准图像数据集（如MNIST和Fashion-MNIST）的分类准确率如何？
• RQ4 此类系统在光学复杂度、能效与分类准确率之间存在何种权衡？
• RQ5 此类超表面成像仪是否可与现有数字后端集成，实现端到端推理加速？

主要发现

• 该超表面成像仪仅通过光学卷积和极简数字分类器，即在MNIST数据集上实现了98.6%的分类准确率。
• 系统在Fashion-MNIST数据集上达到88.8%的准确率，展现出对不同图像类别的鲁棒性。
• 光学计算阶段功耗可忽略不计，且以光速运行，实现真正的实时处理。
• 该装置展现出紧凑性和可扩展性，多个卷积运算可在单次光学采集中并行完成。
• 角域与偏振复用的集成使得正负卷积核的实现无需额外硬件。
• 实验结果证实，通过超表面实现的光学卷积是实现低功耗、高速机器视觉加速的可行路径。