[論文レビュー] Parallel photonic reservoir computing using frequency multiplexing of neurons

Akram Akrout, Arno Bouwens+4 more|arXiv (Cornell University)|Dec 24, 2016

Neural Networks and Reservoir Computing参考文献 20被引用数 11

ひとこと要約

本論文では、周波数ドメイン多重化を用いて全ニューロン状態を同時に処理する並列光的リザボアコンピュータを提案する。これは、従来の時間多重化システムの速度制限を克服するものである。ニューロン状態を別々の光周波数チャネルに符号化することで、高速処理を実現し、13ノードのリザボアにおいて、語音認識や非線形システム再構築といったベンチマークタスクで、先行する時間多重化光システムと同等の性能を示した。

ABSTRACT

Today's unrelenting increase in demand for information processing creates the need for novel computing concepts. Reservoir computing is such a concept that lends itself particularly well to photonic hardware implementations. Over recent years, these hardware implementations have gained maturity and now achieve state-of-the-art performance on several benchmark tasks. However, implementations so far are essentially all based on sequential data processing, leaving the inherent parallelism of photonics unexploited. Parallel implementations process all neurons simultaneously, and therefore have the potential of reducing computation time by a factor equal to the number of neurons, compared to sequential architectures. Here, we report a parallel reservoir computer that uses frequency domain multiplexing of neuron states. We illustrate its performance on standard benchmark tasks such as nonlinear channel equalization, the reproduction of a nonlinear 10th-order system, and speech recognition, obtaining error rates similar to previous optical experiments. The present experiment is thus an important step towards high speed, low footprint, all optical photonic information processing.

研究の動機と目的

• 時間多重化によるニューロン状態の逐次処理が引き起こす光的リザボアコンピューティングにおける速度ボトルネックを克服すること。
• 時間ドメインではなく周波数ドメインにニューロン状態を多重化することで、光学系に内在する並列性を活用すること。
• 入力更新レートを向上させつつも高い性能を維持する、並列リザボアコンピュータの概念実証を示すこと。
• 処理時間やフットプリントを増加させずに、ニューロン数のスケーリングの可能性を検討すること。
• 語音認識や非線形システム同定といった標準ベンチマークタスクにおけるシステムの性能を評価すること。

提案手法

• マイクロ波信号で駆動される位相変調器を用いて、光周波数ドメインにおけるサイドバンドとしてニューロン状態を符号化する。
• リザボアは、遅延フィードバックを備えた単一の非線形ノードとして実装され、各周波数サイドバンドが別個のニューロンに対応する。
• 入力信号の符号化と非線形ダイナミクスの実現を可能にするために、コherent光処理と振幅・位相変調を用いる。
• 各周波数多重ニューロン状態の応答を逐次的に読み出すために、可変帯域パスフィルタを用いる。
• 出力層では、ニューロン応答の重み付き和を計算し、線形回帰を用いて出力重みを最適化することで学習を実施する。
• 光学周波数コンブ源または広帯域変調器を活用することで、ニューロン状態のための利用可能な周波数チャネル数を増加させる。

実験結果

リサーチクエスチョン

• RQ1 ニューロン状態の周波数ドメイン多重化は、光的リザボアコンピューティングにおける真の並列処理を可能にするか？
• RQ2 周波数多重化リザボアコンピュータの性能は、従来の時間多重化光システムと標準ベンチマークタスクで同等か？
• RQ3 現在の実装において、使用可能なニューロン数の上限は何か？ これらの制限は、より優れたハードウェアで克服可能か？
• RQ4 時間ドメイン多重化を排除することで、入力更新レートを著しく向上させられるか？ その際の実用的制約は何か？
• RQ5 出力層処理を完全に光領域で実装することは可能か？ これにより、完全な全光処理を維持できるか？

主な発見

• 周波数多重化光的リザボアコンピュータは、TIMIT語音認識タスクにおいて、シミュレーションで2.1%（±1.2）の単語誤り率（WER）、実験で2.8%（±1.5）を達成し、従来の時間多重化光システムと同等の性能を示した。
• 非線形チャネルイコライゼーションおよび10次非線形システムの再構築においても、成功した性能を示し、誤差率は過去の光実験と一致した。
• 13ノードという少数のニューロンしか使用していないにもかかわらず、性能はニューロン数に比例するという予想と整合的であり、200ノードのシミュレーションではWERが0.15%（±0.1）にまで低下した。
• 入力更新レートは、ニューロン数に依存せず、キャビティの往復時間τに制限されるため、逐次アーキテクチャと比較してN倍の高速化が可能である。
• 現在の制限要因は、主に変調深度およびフィルタ解像度のハードウェア制限による、利用可能な周波数チャネル数の少なさ（13）である。
• 今後のオンチップキャビティおよびモードロックレーザーとの統合により、N ≈ 100ノードの実装が可能となり、入力更新時間が200 psから1 nsにまで短縮され、現在のシステムを上回る速度とフットプリント性能が実現可能となる。