[論文レビュー] Metasurface-Enabled On-Chip Multiplexed Diffractive Neural Networks in the Visible

Xuhao Luo, Hu Yueqiang+5 more|arXiv (Cornell University)|Jul 13, 2021

Neural Networks and Reservoir Computing被引用数 8

ひとこと要約

この論文では、偏光 multiplexing を用いて可視光帯域でマルチチャネル・マルチタスク光認識を実現する、メタサーフェス統合型 on-chip 衍進型ニューラルネットワークを提示する。亜波長ナノ構造と CMOS イメージングセンサーを組み合わせることで、1 チャネルあたり最大 6.25×10⁶ 個の人工ニューロン/mm² を達成し、光の速度でデジタルおよびファッションアイテムをすべて光学的・リアルタイムに認識することを実証した。

ABSTRACT

Replacing electrons with photons is a compelling route towards light-speed, highly parallel, and low-power artificial intelligence computing. Recently, all-optical diffractive neural deep neural networks have been demonstrated. However, the existing architectures often comprise bulky components and, most critically, they cannot mimic the human brain for multitasking. Here, we demonstrate a multi-skilled diffractive neural network based on a metasurface device, which can perform on-chip multi-channel sensing and multitasking at the speed of light in the visible. The metasurface is integrated with a complementary metal oxide semiconductor imaging sensor. Polarization multiplexing scheme of the subwavelength nanostructures are applied to construct a multi-channel classifier framework for simultaneous recognition of digital and fashionable items. The areal density of the artificial neurons can reach up to 6.25x106/mm2 multiplied by the number of channels. Our platform provides an integrated solution with all-optical on-chip sensing and computing for applications in machine vision, autonomous driving, and precision medicine.

研究の動機と目的

• 大型で単一タスクに限られる従来の光神経ネットワークの限界を克服し、可視光帯域で on-chip かつマルチファンクションな計算を実現すること。
• 既存のすべて光神経ネットワークに見られるマルチタスク機能の欠如を解消し、並列分類を可能にする偏光 multiplexing を統合すること。
• コンact でスケーラブルな on-chip 光学 AI システムを実現するため、人工ニューロンの高面積密度を達成すること。
• メタサーフェスと CMOS イメージングセンサーを統合し、完全に on-chip の光センシングと計算を実現すること。
• 可視光帯域の光推論を用いて、機械視覚、自動運転、および精密医療分野における実用的応用を実証すること。

提案手法

• 偏光 multiplexing を可能にするために、入射光の振幅と位相を制御できる亜波長ナノ構造を有するメタサーフェスの設計。
• 2 つの直交する偏光状態をサポートするようにメタサーフェスを設計し、同時に分類タスクを実行可能な 2 つの独立した光パスを実現。
• on-chip 光信号検出を可能にするために、補償金属酸化膜半導体（CMOS）イメージングセンサーにメタサーフェスを直接統合。
• 入力画像を偏光状態に応じて特定の出力チャネルにマップするように、衍進型ディープニューラルネットワークを訓練。これによりマルチチャネル推論が可能に。
• メタサーフェスの幾何学的パラメータを最適化するため、バックプロパゲーションに基づく最適化フレームワークを用いて訓練。
• メタサーフェス構造の亜波長周期性と空間 multiplexing を活用することで、高密度のニューロン面積密度を達成。

実験結果

リサーチクエスチョン

• RQ1 メタサーフェスベースの on-chip システムは、可視光帯域で同時に複数の分類タスクを実行できるか？
• RQ2 どのように偏光 multiplexing を活用することで、衍進型ニューラルネットワークの情報容量を向上させられるか？
• RQ3 可視光帯域の on-chip 衍進型ニューラルネットワークで達成可能な人工ニューロンの最大面積密度はどの程度か？
• RQ4 メタサーフェスと CMOS センサーの統合により、リアルタイム AI 推論のための完全な on-chip 光センシングと計算が可能になるか？
• RQ5 このようなシステムは、人間の脳の光神経処理におけるマルチタスク機能をどの程度再現できるか？

主な発見

• メタサーフェスを搭載したシステムは、1 チャネルあたり最大 6.25×10⁶ ニューロン/mm² のニューロン面積密度を達成し、従来の光神経ネットワークを著しく上回った。
• 直交する偏光状態を用いて、デジタルおよびファッションアイテムの同時でマルチチャネル分類を成功裏に実行した。
• 電子的信号変換が一切不要な光の速度での動作により、超低遅延の光学的推論が実現された。
• メタサーフェスと CMOS イメージングセンサーの統合により、完全に on-chip の光センシングと計算が可能になり、システムのフットプリントと消費電力を低減した。
• 偏光 multiplexing 方式により、クロストークなしに 2 つの独立した分類タスクを並列処理可能となった。
• 複雑な可視光帯域の視覚パターンの分類において、衍進型ニューラルネットワークは高い性能を示し、実世界の AI 応用への可能性を裏付けた。