[論文レビュー] The role of delay-times in delay-based Photonic Reservoir Computing

Tim Hülser, Felix Köster+2 more|arXiv (Cornell University)|Dec 22, 2021

Neural Networks and Reservoir Computing被引用数 4

ひとこと要約

この論文は、光集積リザボアコンピューティングにおける遅延時間は入力クロック周期と一致する必要があるという一般的な誤解に挑戦し、代わりに任意の遅延時間を設定することで性能が著しく向上することを示している。特に自己フィードバックと結合遅延を用いたマルチ遅延システムにおける遅延の調整により、前例のない記憶容量が達成され、NARMA10の誤差は65%低減（NRMSE ≈ 0.1）された。これは、遅延時間が遅延ベースのリザボアコンピューティングにおけるタスク固有最適化のための重要な調整可能なパラメータであることを証明している。

ABSTRACT

Delay-based reservoir computing has gained a lot of attention due to the relative simplicity with which this concept can be implemented in hardware. However,there is still an misconception about the relationship between the delay-time and the input clock-cycle which has noticeable consequences for the performance. We review the existing literature on this subject and introduce the concept of delay-based reservoir computing in a manner that demonstrates that there is no predefined relationship between these two times-scales. Further, we discuss ways to improve the computing performance of a reservoir formed by delay-coupled oscillators and show the crucial impact of delay-time tuning in those multi-delay systems.

研究の動機と目的

• 遅延ベースのリザボアコンピューティングにおける遅延時間が入力クロック周期と同期されている必要があるという広く誤解されている事実を是正すること。
• 遅延時間が事前に決定されていないこと、そして性能最適化のための調整可能であることを示すこと。
• 自己フィードバックと結合遅延を含む複数の遅延が記憶容量とタスク固有性能にどのように寄与するかを調査すること。
• NARMA10のようなタスクにおいて、共鳴的または非同期な遅延設定が劣悪であることを示し、最適な調整により優れた結果が得られることを示すこと。

提案手法

• 研究は時間多重型リザボアコンピューティングフレームワークを採用し、ネットワークではなく時間遅延フィードバックを持つ力学的システムとしてリザボアをモデル化している。
• 独立に調整可能な自己遅延と結合遅延を備えた2つの遅延結合オシレータのシステムを用い、記憶容量とタスク性能を調査している。
• 線形記憶容量は、標準的なリザボアコンピューティング形式を用いて計算され、入力項はさまざまな遅延時間で分析されている。
• NARMA10タスクをベンチマークとして用い、異なる遅延設定における性能は正規化平均二乗誤差（NRMSE）で測定されている。
• 著者らは、さまざまな遅延時間におけるシステムの応答をシミュレーションおよび分析し、共鳴的および非共鳴的領域を同定している。
• 単一遅延およびマルチ遅延システムを比較し、2番目の遅延が記憶容量のギャップを埋め、短期および長期記憶を独立して調整可能にすることを示している。

実験結果

リサーチクエスチョン

• RQ1 遅延ベースのリザボアコンピューティングにおいて、入力クロック周期と遅延時間の間に事前に定められた関係があるか？
• RQ2 共鳴や非同期を超えた遅延時間の調整が、計算性能の向上に寄与するか？
• RQ3 2番目の遅延（自己フィードバックまたは結合遅延）を導入することで、マルチ遅延リザボアシステムにおける記憶容量とタスク性能にどのような影響を与えるか？
• RQ4 遅延時間と入力クロック周期との間の共鳴が、リザボア性能に果たす役割は何か？
• RQ5 NARMA10のような複雑なタスクにおいて、短期および長期記憶を最適化するために遅延時間を独立して調整可能か？

主な発見

• 自己遅延を約1000～2000時間単位に調整すると、NARMA10誤差（NRMSE）は約0.1まで低下し、標準設定と比較して顕著な性能向上が達成される。
• 自己遅延が2000時間単位を超えると、NARMA10時系列における最初に必要な入力項の記憶が失われるため、性能が急激に低下する。
• 重要な入力項 $u_{-i}u_{-i-9}$ に対応する記憶容量は、自己遅延が増加することで最適点まで上昇するが、その後記憶ギャップのため低下する。
• 2番目の遅延（特に自己フィードバックとして）を追加することで、短期および長期記憶を独立して調整可能となり、単一遅延システムに見られるギャップを埋めることができる。
• 遅延時間と入力クロック周期との間の共鳴は、一般的に性能を劣化させることが判明し、文献における一般的な仮定とは対照的である。
• NARMA10の最適な遅延設定は、共鳴的でも非同期的でもなく、中間の位置にあり、これは任意の遅延時間を設定することで優れた結果が得られることを示している。