[論文レビュー] Image sensing with multilayer, nonlinear optical neural networks

Tianyu Wang, Mandar M. Sohoni+6 more|arXiv (Cornell University)|Jul 27, 2022

Neural Networks and Reservoir Computing被引用数 16

ひとこと要約

本論文は、商業用画像増幅器を並列で光起電気的・光-光非線形活性化関数として用いることで、画像センシングに向けたマルチレイヤーで非線形な光学ニューラルネットワーク（ONN）プリプロセッサを提示する。オブジェクト識別や細胞オルガネラ分類といったタスクにおいて、高精度を維持しながら最大800:1の圧縮比を達成しており、線形ONNエンコーダーと比較して、深さと非線形性のおかげで優れた性能を発揮している。

ABSTRACT

Optical imaging is commonly used for both scientific and technological applications across industry and academia. In image sensing, a measurement, such as of an object's position, is performed by computational analysis of a digitized image. An emerging image-sensing paradigm breaks this delineation between data collection and analysis by designing optical components to perform not imaging, but encoding. By optically encoding images into a compressed, low-dimensional latent space suitable for efficient post-analysis, these image sensors can operate with fewer pixels and fewer photons, allowing higher-throughput, lower-latency operation. Optical neural networks (ONNs) offer a platform for processing data in the analog, optical domain. ONN-based sensors have however been limited to linear processing, but nonlinearity is a prerequisite for depth, and multilayer NNs significantly outperform shallow NNs on many tasks. Here, we realize a multilayer ONN pre-processor for image sensing, using a commercial image intensifier as a parallel optoelectronic, optical-to-optical nonlinear activation function. We demonstrate that the nonlinear ONN pre-processor can achieve compression ratios of up to 800:1 while still enabling high accuracy across several representative computer-vision tasks, including machine-vision benchmarks, flow-cytometry image classification, and identification of objects in real scenes. In all cases we find that the ONN's nonlinearity and depth allowed it to outperform a purely linear ONN encoder. Although our experiments are specialized to ONN sensors for incoherent-light images, alternative ONN platforms should facilitate a range of ONN sensors. These ONN sensors may surpass conventional sensors by pre-processing optical information in spatial, temporal, and/or spectral dimensions, potentially with coherent and quantum qualities, all natively in the optical domain.

研究の動機と目的

• デジタイズド画像処理に代わるアナログ的で光学的なプリプロセッシングを導入することで、従来の画像センサの性能ボトルネックを克服すること。
• 光学部品を計算符号化を実行するものとして設計することで、高圧縮・低遅延の画像センシングを実現すること。
• マルチレイヤーで非線形なONNが、画像センシングタスクにおいて単層で線形なONNを顕著に上回ることを示すこと。
• 商業用画像増幅器を実世界の画像センシング応用における非線形活性化関数として光学ニューラルネットワークに組み込むことが可能であることを検証すること。
• 情報処理を光学ドメインでネイティブに処理することで、ONNベースのセンサが従来のセンサを、速度、エネルギー効率、光子経済性の面で凌駃することの可能性を探索すること。

提案手法

• 著者らは、並列で光起電気的・光-光非線形活性化を提供する商業用画像増幅器を用いて、マルチレイヤーONNプリプロセッサを実装し、真の非線形処理を可能にした。
• システムは100×100の広い入力画像次元を採用し、2層完全結合ONNで200次元のボトルネック層を適用しており、より深いアーキテクチャ（例：CNN1およびCNN3）では光学畳み込み層を統合した。
• 非負の重みを強制することで非コherent光条件に適合させ、シミュレーション中に物理的ノイズをエミュレートして現実の光学的制限を反映させた。
• 光学エンコーダーは高次元画像を圧縮された潜在空間にマッピングし、その後、線形分類器によってオブジェクト認識や細胞オルガネラ分類などのタスクが実行された。
• トレーニング可能なバッチ正規化層に続き、ReLuに類似した活性化が実装されており、光学制御VCSELまたはLEDアレイのしきい値線形動作によって実現可能である。
• プーリング操作は光学的合算（AvgPool）またはしきい値制限付き活性化（MaxPool）で実装され、後者はエネルギー入力を制限して二次応答を抑制することで近似された。

Figure 1 : A multilayer optical-neural-network encoder as a frontend for image sensing. a , Image sensing via direct imaging vs optical encoding. In conventional image sensing, an image is collected by a camera, and processed, often using a neural network (NN), to extract a small piece of relevant i

実験結果

リサーチクエスチョン

• RQ1 マルチレイヤーで非線形な光学ニューラルネットワークは、線形ONNエンコーダーと比較して、分類精度を維持したまま顕著に高い画像圧縮比を達成できるか？
• RQ2 光学プリプロセッサに非線形性と深さを組み込むことで、実世界の画像センシングタスクにおいて測定可能な性能向上が得られるか？
• RQ3 商業用画像増幅器が、ONNアーキテクチャ内での並列で光起電気的・光-光非線形活性化関数として効果的に機能するか？
• RQ4 光学ニューラルネットワークは、空間的・時間的・スペクトル的次元において、どれほど画像をプリプロセスすることで、より高速で低消費電力かつ光子効率の高いセンシングを実現できるか？
• RQ5 非コherent光に基づくONNエンコーダーの性能は、コherent光の対応物と比較して、特に達成可能な精度と圧縮効率の面でどの程度差が生じるか？

主な発見

• 非線形でマルチレイヤーなONNプリプロセッサは、10,000次元の入力画像を2次元出力ベクトルに圧縮する一方で、高い分類精度を維持し、最大800:1の圧縮比を達成した。
• より深いONNアーキテクチャ（例：3つの光学畳み込み層を有するCNN3）は、浅い構造や線形ONNエンコーダーを上回り、特に高圧縮比において優位性を示した。これは、深さと非線形性の利点を裏付けた。
• 細胞オルガネラ分類タスクにおいて10クラス分類で高い精度を達成し、同じデータでトレーニングされたResNet-18分類器に近い性能を示した。これは、強力な表現能力を示している。
• 商業用画像増幅器を非線形活性化関数として使用することで、最小限の電子フィードバックで効果的な光-光変換が実現され、並列でリアルタイム処理が可能となった。
• シミュレーションでは、非負の重み（非コherent光）は実数値重みと比較して性能が制限される傾向にあり、コherent光ONNがさらに優れた結果をもたらす可能性を示唆した。
• 結果から、ONNベースのセンサが光学ドメインでアナログ処理を実行することで、従来のセンサを上回る高速性、小型化、低消費電力な画像センシングが実現可能であると考えられる。