[논문 리뷰] Computational Imaging and Artificial Intelligence: The Next Revolution of Mobile Vision

Jinli Suo, Weihang Zhang외 4명|arXiv (Cornell University)|2021. 09. 18.

CCD and CMOS Imaging Sensors참고 문헌 324인용 수 5

한 줄 요약

이 논문은 모바일 비전 분야의 제3차 혁신을 이끌기 위해 계산 영상(CI)과 인공지능(AI)을 깊이 통합하는 것을 제안한다. 이는 실시간 시스템에서 지능적이고 피드백 루프가 구축된 촬영, 처리, 의사결정을 가능하게 한다. CI의 인코딩된 데이터 캡처 방식과 AI 기반 최적화를 융합함으로써, 자율주행 차량을 사례로 제시한 바, 정보 효율성 향상, 에너지 소비 감소, 성능 향상을 이룬다. 이는 광신경망 네트워크와 메타표면 광학과 같은 새로운 아키텍처를 통해 달성된다.

ABSTRACT

Signal capture stands in the forefront to perceive and understand the environment and thus imaging plays the pivotal role in mobile vision. Recent explosive progresses in Artificial Intelligence (AI) have shown great potential to develop advanced mobile platforms with new imaging devices. Traditional imaging systems based on the "capturing images first and processing afterwards" mechanism cannot meet this unprecedented demand. Differently, Computational Imaging (CI) systems are designed to capture high-dimensional data in an encoded manner to provide more information for mobile vision systems.Thanks to AI, CI can now be used in real systems by integrating deep learning algorithms into the mobile vision platform to achieve the closed loop of intelligent acquisition, processing and decision making, thus leading to the next revolution of mobile vision.Starting from the history of mobile vision using digital cameras, this work first introduces the advances of CI in diverse applications and then conducts a comprehensive review of current research topics combining CI and AI. Motivated by the fact that most existing studies only loosely connect CI and AI (usually using AI to improve the performance of CI and only limited works have deeply connected them), in this work, we propose a framework to deeply integrate CI and AI by using the example of self-driving vehicles with high-speed communication, edge computing and traffic planning. Finally, we outlook the future of CI plus AI by investigating new materials, brain science and new computing techniques to shed light on new directions of mobile vision systems.

연구 동기 및 목표

• 기존의 지능적 최적화 없이 데이터를 캡처하고 저장하는 전통적 모바일 비전 시스템의 한계를 해결하기 위해.
• 특히 소셜 미디어 및 자율주행 차량과 같은 고용량 데이터 환경에서의 대역폭 사용 및 정보 추출의 비효율성을 해결하기 위해.
• 모바일 비전 시스템에서 실시간으로 지능적 촬영, 처리, 의사결정을 가능하게 하는 CI와 AI의 깊은 통합 프레임워크를 제안하기 위해.
• 메타표면, 뇌에 영감을 받은 컴퓨팅, 엣지-클라우드 아키텍처와 같은 신기술을 탐색하여 모바일 플랫폼에서의 이미징 성능과 효율성을 향상시키기 위해.
• 신소재, 뇌 과학, 고급 컴퓨팅 패러다임을 활용해 CI+AI의 미래 연구 방향을 제시하기 위해.

제안 방법

• CI 시스템이 인코딩된 고차원 데이터를 캡처하고 AI 모델이 실시간으로 이를 처리해 의사결정을 내리는 피드백 루프 프레임워크를 제안하며, 자율주행 차량을 사례로 제시한다.
• 딥 러닝을 CI 파이프라인에 통합하여 이미지 재구성 최적화 및 계산 부담 감소를 도모함으로써, 모바일 플랫폼에서 에너지 효율적인 추론을 가능하게 한다.
• 엣지 컴퓨팅과 5G/6G 통신을 활용해 모바일 디바이스와 클라우드 자원 간 저지연, 고대역폭 데이터 전송 및 처리를 실현한다.
• 파장 분할 multiplexing 기반의 광신경망 네트워크를 활용해 초고속, 저에너지, 뇌 유사 처리를 구현하는 초고속 광학 컴퓨팅을 실현한다.
• 초박막, 플라스몬 나노구조로 구성된 메타표면을 활용해 고도화된 파면 제어를 실현함으로써, 기존 렌즈와 필터를 대체할 수 있는 컴팩트하고 고효율 광학 요소를 구현한다.
• 양자적 Tianjic 칩 아키텍처를 도입해 인공신경망과 스파iking 신경망을 모두 지원함으로써, 모바일 비전을 위한 융합적, 고대역폭, 저지연 뇌 유사 컴퓨팅을 실현한다.

실험 결과

연구 질문

• RQ1 CI와 AI를 어떻게 깊이 통합하여 모바일 비전 시스템에서 실시간 지능적 촬영 및 의사결정을 가능하게 할 수 있는가?
• RQ2 특히 대역폭 제약 환경에서 AI를 활용해 CI 파이프라인을 최적화할 경우, 성능 및 효율성 향상은 어떻게 이루어지는가?
• RQ3 광신경망 네트워크 및 메타표면과 같은 신기술 하드웨어는 모바일 비전 시스템의 능력을 어떻게 향상시킬 수 있는가?
• RQ4 뇌 유사 컴퓨팅 아키텍처는 모바일 AI 비전 시스템의 속도, 에너지 효율성, 확장성에 어떻게 기여할 수 있는가?
• RQ5 메타표면 및 고급 광학 변조 기법과 같은 신세대 재료를 결합함으로써 어떤 새로운 이미징 기능이 도출될 수 있는가?

주요 결과

• CI와 AI의 통합은 이미징이 단순한 촬영과 처리를 넘어서, 과업에 맞는 지능적 촬영으로 발전하는 피드백 루프 시스템을 가능하게 한다.
• AI를 활용한 CI 파이프라인 최적화로 인해 딥 네트워크 추론의 에너지 소비가 크게 감소하며, 성능을 유지하면서도 계산 부담을 최소화할 수 있다.
• 파장 분할 multiplexing 기반의 광신경망 네트워크는 빠르고 저에너지이며 뇌 유사 처리를 가능하게 하여 기존 전자 아키텍처에 비해 우수한 성능을 제공한다.
• 30nm 이하 두께의 메타표면은 위상, 진폭, 편광을 정밀하게 제어함으로써 고해상도, 저노이즈 이미징을 실현하며, 초박막 광학 장치를 가능하게 한다.
• 하이브리드 Tianjic 칩 아키텍처는 인공신경망과 스파iking 신경망을 모두 지원하여 고집적, 고속, 고대역폭을 실현하며, 전통적 칩에 비해 융통성과 확장성 면에서 뛰어나다.
• CI, AI, 메타표면과 같은 신소재의 융합은 기존 광학 제약을 극복하고, 이동 및 웨어러블 응용 분야에 적합한 컴팩트하고 고성능의 이미징 시스템을 실현한다.