[論文レビュー] Intelligent Multi-channel Meta-imagers for Accelerating Machine Vision

Hanyu Zheng, Quan Liu+4 more|arXiv (Cornell University)|Jun 12, 2023

Metamaterials and Metasurfaces Applications被引用数 5

ひとこと要約

本論文では、メタサーフェスを用いて計算負荷の高い畳み込み演算を受動的で低消費電力の光学系にオフロードすることで、マシンビジョンの高速化を実現する知能的なマルチチャネルメタイメージャーを提示する。角度および偏光の多重化を可能にすることで、1回の光学的ショットで正および負の畳み込み演算を同時に実行し、MNISTでは98.6%、Fashion-MNISTでは88.8%の精度を達成し、コンactで高速かつエネルギー効率の高い性能を実現した。

ABSTRACT

Rapid developments in machine vision have led to advances in a variety of industries, from medical image analysis to autonomous systems. These achievements, however, typically necessitate digital neural networks with heavy computational requirements, which are limited by high energy consumption and further hinder real-time decision-making when computation resources are not accessible. Here, we demonstrate an intelligent meta-imager that is designed to work in concert with a digital back-end to off-load computationally expensive convolution operations into high-speed and low-power optics. In this architecture, metasurfaces enable both angle and polarization multiplexing to create multiple information channels that perform positive and negatively valued convolution operations in a single shot. The meta-imager is employed for object classification, experimentally achieving 98.6% accurate classification of handwritten digits and 88.8% accuracy in classifying fashion images. With compactness, high speed, and low power consumption, this approach could find a wide range of applications in artificial intelligence and machine vision applications.

研究の動機と目的

• マシンビジョン応用におけるデジタルニューラルネットワークの高い計算コストおよびエネルギー消費を低減すること。
• リソース制約のある環境でのリアルタイム推論を可能にするために、畳み込み演算をデジタルプロセッサから光学ドメインに移行すること。
• 1回のショットで複雑な畳み込み演算を実行可能な、コンactで低消費電力の光学系を設計すること。
• AIアクセラレーションのためのマルチチャネル、マルチポーラリゼーション、マルチアングル光学的畳み込みにメタサーフェスを用いる可能性を実証すること。
• 実験的光学ハードウェアを用いて、標準的な画像分類ベンチマークでのシステムの性能を検証すること。

提案手法

• メタイメージャーは、入射光を角度および偏光に基づいて空間的に多重化することで、複数の独立した光学チャネルを生成するメタサーフェスを採用している。
• 各チャネルは、メタサーフェスの位相および振幅応答を設計することで、それぞれ異なる畳み込み演算（正または負）を実行する。
• 角度および偏光多重化を活用することで、ハードウェアの複雑さを増さずに有効な畳み込みカーネルの数を増加させている。
• 光学的出力はデジタルカメラでキャプチャされ、入力画像の分類に軽量なニューラルネットワークによって処理される。
• 特定の畳み込み演算のためのターゲット伝達関数を達成するために、逆設計手法を用いてメタサーフェスを設計している。
• リアルタイムの画像入力および分類を伴うプロトタイプセットアップを用いて、アーキテクチャの実験的妥当性を検証している。

実験結果

リサーチクエスチョン

• RQ1 メタサーフェスを用いて、角度および偏光多重化により複数の畳み込み演算を並列で実行できるか？
• RQ2 光学的畳み込みは、マシンビジョンシステムにおけるデジタルプロセッサの計算負荷をどの程度低減できるか？
• RQ3 受動的光学系は、MNIST や Fashion-MNIST といった標準画像データセットをどの程度正確に分類できるか？
• RQ4 このようなシステムにおいて、光学的複雑さ、エネルギー効率、分類精度の間のトレードオフはいかなるものか？
• RQ5 このようなメタイメージャーは、既存のデジタルバックエンドと統合可能で、エンドツーエンドの推論加速を実現できるか？

主な発見

• メタイメージャーは、光学的畳み込みと最小限のデジタル分類器のみを用いて、MNISTデータセットで98.6%の分類精度を達成した。
• ファッション-MNISTデータセットでも88.8%の精度を達成し、さまざまな画像クラスに対して高い耐性を示した。
• 光学的計算ステージは無視できるほどの低消費電力であり、光の速度で動作し、リアルタイム処理を可能にした。
• 装置はコンactでスケーラブルであり、1回の光学的ショットで複数の畳み込み演算を同時に実行できた。
• 角度および偏光多重化の統合により、追加のハードウェアを必要とせずに正および負の畳み込みカーネルを実装できた。
• 実験結果から、メタサーフェスによる光学的畳み込みが、低エネルギーかつ高速なマシンビジョン加速の実現可能性を裏付けた。