[論文レビュー] Computational Imaging and Artificial Intelligence: The Next Revolution of Mobile Vision

Jinli Suo, Weihang Zhang+4 more|arXiv (Cornell University)|Sep 18, 2021

CCD and CMOS Imaging Sensors参考文献 324被引用数 5

ひとこと要約

本論文は、モバイルビジョン分野における第3次革命を推進するため、計算撮影（CI）と人工知能（AI）を深く統合する手法を提案している。リアルタイムシステムにおける知能的で閉ループ型の取得・処理・意思決定を可能にする。CIの符号化されたデータ取得とAI駆動の最適化を組み合わせることで、自律走行車両の事例で実証されたように、情報効率の向上、エネルギー消費の低減、性能の向上を実現。光子神経接合ネットワークやメタサーフェス光学といった新規アーキテクチャを採用している。

ABSTRACT

Signal capture stands in the forefront to perceive and understand the environment and thus imaging plays the pivotal role in mobile vision. Recent explosive progresses in Artificial Intelligence (AI) have shown great potential to develop advanced mobile platforms with new imaging devices. Traditional imaging systems based on the "capturing images first and processing afterwards" mechanism cannot meet this unprecedented demand. Differently, Computational Imaging (CI) systems are designed to capture high-dimensional data in an encoded manner to provide more information for mobile vision systems.Thanks to AI, CI can now be used in real systems by integrating deep learning algorithms into the mobile vision platform to achieve the closed loop of intelligent acquisition, processing and decision making, thus leading to the next revolution of mobile vision.Starting from the history of mobile vision using digital cameras, this work first introduces the advances of CI in diverse applications and then conducts a comprehensive review of current research topics combining CI and AI. Motivated by the fact that most existing studies only loosely connect CI and AI (usually using AI to improve the performance of CI and only limited works have deeply connected them), in this work, we propose a framework to deeply integrate CI and AI by using the example of self-driving vehicles with high-speed communication, edge computing and traffic planning. Finally, we outlook the future of CI plus AI by investigating new materials, brain science and new computing techniques to shed light on new directions of mobile vision systems.

研究の動機と目的

• 従来のモバイルビジョンシステムが知的な最適化なしにデータを取得・保存するという制限を解決すること。
• 特にソーシャルメディアや自律走行車両のような高データ量環境において、帯域幅の使用効率と情報抽出の非効率性を是正すること。
• 閉ループ型の知的取得・処理・意思決定を実現するため、CIとAIの深いつながりを有するフレームワークを提案すること。
• メタサーフェス、脳にインspiredしたコンピューティング、エッジ・クラウドアーキテクチャといった新興技術を活用し、モバイルプラットフォームにおけるイメージング性能と効率を向上させること。
• 次世代モバイルビジョンシステムのため、新素材、脳科学、先進的なコンピューティングパラダイムを活用したCI+AIの今後の研究方向性を提示すること。

提案手法

• CIシステムが符号化された高次元データを取得し、AIモデルがリアルタイムで処理して意思決定を行う閉ループフレームワークを提案。自律走行車両を例に挙げる。
• 深層学習をCIパイプラインに統合し、画像再構成の最適化と計算負荷の低減を実現。これにより、モバイルプラットフォーム上でのエネルギー効率の高い推論が可能になる。
• エッジコンピューティングと5G/6G通信を活用し、モバイルデバイスとクラウドリソース間で低遅延・高帯域幅のデータ送信・処理を実現する。
• 波長分割多重に基づく光子神経接合ネットワークを活用し、超高速で低消費電力な光コンピューティングを実現。脳にインspiredした処理を模倣する。
• 超薄膜で、プラズモン性ナノ構造であるメタサーフェスを活用し、波面制御を高度に実現。従来のレンズやフィルターに代わるコンactで高効率な光学素子を実現する。
• ハイブリッドTianjicチップアーキテクチャを採用。人工神経ネットワークとスパiking神経ネットワークの両方をサポート。モバイルビジョンに最適化された、柔軟性・高帯域幅・低遅延な脳にインspiredしたコンピューティングを実現する。

実験結果

リサーチクエスチョン

• RQ1 CIとAIをどのように深く統合することで、モバイルビジョンシステムにおけるリアルタイムで知的な取得と意思決定が可能になるか？
• RQ2 特に帯域幅制限のある環境において、AIを用いてCIパイプラインを最適化することで得られる性能向上と効率性の向上は何か？
• RQ3 光子神経接合ネットワークやメタサーフェスといった新興ハードウェアは、モバイルビジョンシステムの能力をどのように向上させるか？
• RQ4 脳にインspiredしたコンピューティングアーキテクチャは、モバイルAIビジョンシステムの速度、エネルギー効率、スケーラビリティをどのように改善するか？
• RQ5 メタサーフェスや先進的な光変調技術といった次世代素材とCIを融合させることで、どのような新たなイメージング能力が実現可能になるか？

主な発見

• CIとAIの統合により、撮影と処理を越えた、タスク固有のニーズに応じた知的な取得が可能な閉ループシステムが実現される。
• AIを用いてCIパイプラインを最適化することで、深層ニューラルネットワーク推論におけるエネルギー消費を顕著に削減でき、性能を維持しながら計算負荷を最小限に抑えることが可能になる。
• 波長分割多重に基づく光子神経接合ネットワークは、高速で低消費電力かつ脳にインspiredしたコンピューティングを実現。従来の電子的アーキテクチャに比べて優位性を示す。
• 30nm未満の厚さのメタサーフェスは、位相・振幅・偏光を正確に制御することで、高解像度・低ノイズのイメージングを実現。超薄型光学デバイスの実現を可能にする。
• ハイブリッドTianjicチップアーキテクチャは、人工神経ネットワークとスパiking神経ネットワークの両方をサポート。高い統合度・高速性・帯域幅を実現。柔軟性とスケーラビリティにおいて、従来のチップを上回る性能を発揮する。
• CI、AI、メタサーフェスなどの新素材の融合により、従来の光学的制限を克服した、コンactで高機能なイメージングシステムが実現可能となり、モバイルおよびウェアラブルアプリケーションに適している。