[论文解读] Computational Imaging and Artificial Intelligence: The Next Revolution of Mobile Vision

Jinli Suo, Weihang Zhang+4 more|arXiv (Cornell University)|Sep 18, 2021

CCD and CMOS Imaging Sensors参考文献 324被引用 5

一句话总结

本文提出将计算成像（CI）与人工智能（AI）深度融合，以推动移动视觉的第三次革命，实现实时系统中的智能、闭环采集、处理与决策。通过结合CI的编码数据采集与AI驱动的优化——以自动驾驶汽车为例——该方法实现了更高的信息效率、更低的能耗，并通过新型架构（如光子神经突触网络和超表面光学）提升了性能。

ABSTRACT

Signal capture stands in the forefront to perceive and understand the environment and thus imaging plays the pivotal role in mobile vision. Recent explosive progresses in Artificial Intelligence (AI) have shown great potential to develop advanced mobile platforms with new imaging devices. Traditional imaging systems based on the "capturing images first and processing afterwards" mechanism cannot meet this unprecedented demand. Differently, Computational Imaging (CI) systems are designed to capture high-dimensional data in an encoded manner to provide more information for mobile vision systems.Thanks to AI, CI can now be used in real systems by integrating deep learning algorithms into the mobile vision platform to achieve the closed loop of intelligent acquisition, processing and decision making, thus leading to the next revolution of mobile vision.Starting from the history of mobile vision using digital cameras, this work first introduces the advances of CI in diverse applications and then conducts a comprehensive review of current research topics combining CI and AI. Motivated by the fact that most existing studies only loosely connect CI and AI (usually using AI to improve the performance of CI and only limited works have deeply connected them), in this work, we propose a framework to deeply integrate CI and AI by using the example of self-driving vehicles with high-speed communication, edge computing and traffic planning. Finally, we outlook the future of CI plus AI by investigating new materials, brain science and new computing techniques to shed light on new directions of mobile vision systems.

研究动机与目标

• 解决传统移动视觉系统在缺乏智能优化的情况下盲目采集和存储数据的局限性。
• 克服当前移动成像在带宽使用和信息提取方面的低效问题，特别是在社交媒体和自动驾驶汽车等高数据场景中。
• 提出CI与AI深度融合的框架，实现在移动视觉系统中的闭环智能采集、处理与决策。
• 探索新兴技术（如超表面、类脑计算和边缘-云架构）在提升移动平台成像性能与效率方面的潜力。
• 通过新材料、脑科学和先进计算范式，勾勒CI+AI的未来研究方向，以推动下一代移动视觉系统的发展。

提出的方法

• 提出一种闭环框架，其中CI系统捕获编码的高维数据，AI模型实时处理以支持决策，以自动驾驶汽车为典型应用。
• 将深度学习嵌入CI流程，以优化图像重建并降低计算负载，实现在移动平台上的能效型推理。
• 利用边缘计算与5G/6G通信技术，实现在移动设备与云资源之间低延迟、高带宽的数据传输与处理。
• 采用基于波分复用的光子神经突触网络，实现超高速、低功耗的光学计算，模拟类脑处理机制。
• 利用超表面——超薄等离子体纳米结构——实现先进的波前调控，替代传统透镜与滤光片，实现紧凑高效的光学元件。
• 采用混合Tianjic芯片架构，同时支持人工神经网络与脉冲神经网络，为移动视觉提供灵活、高带宽、低延迟的类脑计算能力。

实验结果

研究问题

• RQ1 如何实现CI与AI的深度融合，以在移动视觉系统中实现实时、智能的采集与决策？
• RQ2 在带宽受限环境中，利用AI优化CI流程在移动平台上的性能与效率提升体现在哪些方面？
• RQ3 新兴硬件（如光子神经突触网络与超表面）如何增强移动视觉系统的能力？
• RQ4 类脑计算架构在哪些方面可提升移动AI视觉系统的速度、能效与可扩展性？
• RQ5 结合CI与下一代材料（如超表面）及先进光调制技术，将催生哪些新型成像能力？

主要发现

• CI与AI的融合实现了闭环系统，使成像不再仅是采集与处理，而是根据任务需求定制的智能采集。
• 利用AI优化CI流程可显著降低深度神经网络推理的能耗，在保持性能的同时最小化计算负载。
• 基于波分复用的光子神经突触网络可实现高速、低功耗、类脑计算，优于传统电子架构。
• 厚度小于30nm的超表面可精确调控相位、振幅与偏振，实现高分辨率、低噪声成像，支持超薄光学器件。
• 混合Tianjic芯片架构同时支持人工神经网络与脉冲神经网络，实现高集成度、高速度与高带宽，其灵活性与可扩展性优于传统芯片。
• CI、AI与新型材料（如超表面）的融合，可实现紧凑、高性能的成像系统，适用于移动与可穿戴设备，突破传统光学限制。