[論文レビュー] A journey in ESN and LSTM visualisations on a language task

Alexandre Variengien, Xavier Hinaut|arXiv (Cornell University)|Dec 3, 2020

Neural Networks and Reservoir Computing参考文献 48被引用数 6

ひとこと要約

本論文は、UMAP次元削減に基づく新しい可視化技術である再帰的状態空間可視化（RSSviz）を用いて、エコー状態ネットワーク（ESN）と長短期記憶（LSTM）ネットワークを、クロスシチュエーショナル言語学習タスクにおいて比較している。ESNはチューニングなしでより難しいデータセットにおいてもLSTMを上回り、学習がはるかに速いことが判明した。両モデルとも文構造に注目した類似した内部ダイナミクスを発展させ、RSSvizはLSTMにおける系列のフラクタルに類似した埋め込みを特定し、ESNの学習段階とハイパーパramータ効果の動的分析を可能にした。

ABSTRACT

Echo States Networks (ESN) and Long-Short Term Memory networks (LSTM) are two popular architectures of Recurrent Neural Networks (RNN) to solve machine learning task involving sequential data. However, little have been done to compare their performances and their internal mechanisms on a common task. In this work, we trained ESNs and LSTMs on a Cross-Situationnal Learning (CSL) task. This task aims at modelling how infants learn language: they create associations between words and visual stimuli in order to extract meaning from words and sentences. The results are of three kinds: performance comparison, internal dynamics analyses and visualization of latent space. (1) We found that both models were able to successfully learn the task: the LSTM reached the lowest error for the basic corpus, but the ESN was quicker to train. Furthermore, the ESN was able to outperform LSTMs on datasets more challenging without any further tuning needed. (2) We also conducted an analysis of the internal units activations of LSTMs and ESNs. Despite the deep differences between both models (trained or fixed internal weights), we were able to uncover similar inner mechanisms: both put emphasis on the units encoding aspects of the sentence structure. (3) Moreover, we present Recurrent States Space Visualisations (RSSviz), a method to visualize the structure of latent state space of RNNs, based on dimension reduction (using UMAP). This technique enables us to observe a fractal embedding of sequences in the LSTM. RSSviz is also useful for the analysis of ESNs (i) to spot difficult examples and (ii) to generate animated plots showing the evolution of activations across learning stages. Finally, we explore qualitatively how the RSSviz could provide an intuitive visualisation to understand the influence of hyperparameters on the reservoir dynamics prior to ESN training.

研究の動機と目的

• クロスシチュエーショナル言語学習タスクにおけるESNとLSTMの性能および内部ダイナミクスを比較すること。
• アーキテクチャの違いがあるにもかかわらず、ESNとLSTMが類似した内部表現を発展させるかどうかを調査すること。
• RNNの再帰的状態空間ダイナミクスを分析するための新しい可視化手法、RSSvizの開発と検証すること。
• トレーニング前の段階で、リザボアハイパーパramータ（スペクトル半径とリークレート）がリザボア状態空間のトポロジーに与える影響を調査すること。
• ESNおよびLSTMにおける学習進行、難易度の高い例、モデル挙動の直感的で視覚的な分析を可能にすること。

提案手法

• 乳児の語彙意味獲得を模倣するクロスシチュエーショナル学習（CSL）データセットを用いて、ESNとLSTMをトレーニングした。
• 両モデルの高次元再帰的状態空間を可視化するため、非線形次元削減にUMAPを適用した。
• リザボア状態をUMAPでマップし、入力またはタイムステップごとに色分けする可視化フレームワークであるRSSvizを開発した。
• ESNの学習段階を、トレーニング中に活性化がどのように変化するかを示すアニメーション可視化を通じて、RSSvizを用いて分析した。
• トレーニング前の段階で、リザボアハイパーパラメータ（スペクトル半径とリークレート）が状態空間構造に与える影響を、事前トレーニングRSSvizを用いて調査した。
• 文構造符号化に注目し、ESNとLSTMにおける機能的役割の比較を、内部ユニットの活性化分析を通じて行った。

実験結果

リサーチクエスチョン

• RQ1 ESNとLSTMは言語習得タスクで同等の性能を達成するか？ また、それらの学習ダイナミクスにはどのような違いがあるか？
• RQ2 アーキテクチャの違いや学習メカニズムの違いがあるにもかかわらず、ESNとLSTMは類似した内部表現を発展させるか？
• RQ3 RSSvizは、RNNの潜在状態空間にフラクタルに類似した埋め込みのような意味のある構造的パターンを特定できるか？
• RQ4 リザボアハイパーパラメータ（スペクトル半径とリークレート）は、トレーニング前の段階でリザボア状態空間のトポロジーにどのように影響を与えるか？
• RQ5 RSSvizは、ESNにおける難易度の高い例の特定と、学習進行の可視化に使用できるか？

主な発見

• LSTMは基本的なCSLコーパスで最小の誤差を達成したが、ESNはチューニングなしでより難しいデータセットにおいてもはるかに速く学習し、LSTMを上回った。
• ESNの固定リザボア重みとLSTMの学習可能な再帰的重みという根本的なアーキテクチャの違いがあるにもかかわらず、両モデルとも文構造を符号化するユニットに注目しており、共通の機能的メカニズムがあることが示唆された。
• RSSvizは、LSTMの潜在状態空間にフラクタルに類似した埋め込みを特定し、このようなトポロジカル構造がRNNにおける系列処理の本質的特徴である可能性を示唆した。
• ESNに関しては、RSSvizを用いて学習が難しい例を特定でき、学習が段階的に進行することを示すアニメーション可視化が可能になった。具体的には、単一目的文が複数目的文よりも先に学習された。
• RSSvizを用いることで、スペクトル半径とリークレートがリザボア状態空間構造に与える影響をトレーニング前の段階で可視化し、非線形性と記憶のトレードオフに関する定性的なインサイトが得られた。
• 本研究は、RSSvizがハイパーパramータ探索を加速させ、リザボア品質とダイナミクスの事前可視化を可能にすることで、新しい学習ルールの設計を支援できる可能性を示唆している。