[論文レビュー] Neural Trajectory Analysis of Recurrent Neural Network In Handwriting Synthesis

Kristof B. Charbonneau, Osamu Shouno|arXiv (Cornell University)|Apr 13, 2018

Handwritten Text Recognition Techniques参考文献 2被引用数 3

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）が多様な筆跡スタイルをどのように生成するかを解釈するためにニューラル軌道解析を導入する。LSTMの活性化にガウス過程要因分析（GPFA）を適用することで、異なる筆跡スタイルがネットワークの内部空間における異なる部分空間に符号化されていることが明らかになった。また、個々の文字はそれぞれのスタイルの部分空間内で固有の状態ダイナミクスとして表現されており、特定の再帰層がスタイル保持と文字生成に果たす役割が強調されている。

ABSTRACT

Recurrent neural networks (RNNs) are capable of learning to generate highly realistic, online handwritings in a wide variety of styles from a given text sequence. Furthermore, the networks can generate handwritings in the style of a particular writer when the network states are primed with a real sequence of pen movements from the writer. However, how populations of neurons in the RNN collectively achieve such performance still remains poorly understood. To tackle this problem, we investigated learned representations in RNNs by extracting low-dimensional, neural trajectories that summarize the activity of a population of neurons in the network during individual syntheses of handwritings. The neural trajectories show that different writing styles are encoded in different subspaces inside an internal space of the network. Within each subspace, different characters of the same style are represented as different state dynamics. These results demonstrate the effectiveness of analyzing the neural trajectory for intuitive understanding of how the RNNs work.

研究の動機と目的

• RNNが集団レベルで筆跡スタイルと文字ダイナミクスをどのように統合的に表現するかを理解すること。
• RNNベースの筆跡合成におけるスタイル転送の背後にある内部ニューラル表現を調査すること。
• 異なる筆跡スタイルがRNNの隠れ空間の異なる部分空間に符号化されているかどうかを特定すること。
• 個々の文字が、特定のスタイルの部分空間内でどのように動的状態軌道として表現されているかを検討すること。
• 個々の再帰層がスタイルおよび文字表現において果たす機能的特化を同定すること。

提案手法

• 3つの再帰層からのLSTM活性化時系列の次元削減のためにガウス過程要因分析（GPFA）を適用した。
• 共分散行列のランク不足を解消するために、LSTM活性化をメディアンフィルタ（カーネルサイズ3）で事前処理した。
• EMアルゴリズムを用いて、複数のプリミング条件およびターゲットテキストの下で120回の試行にわたるGPFAモデルをフィッティングした。
• 筆跡合成中の集団活動を要約する低次元ニューラル軌道を抽出した。
• KLダイバージェンスを用いて、異なるプリミング条件およびテキスト条件間のニューラル軌道分布を定量的に比較した。
• 層間での軌道の可視化と比較を通じて、スタイルおよび文字表現の評価を行った。

実験結果

リサーチクエスチョン

• RQ1 異なる筆跡スタイルは、RNNの内部ニューラル空間における異なる部分空間に対応するか？
• RQ2 特定の筆跡スタイルの部分空間内で、個々の文字はどのように表現されているか？
• RQ3 筆跡合成中にスタイルを維持する上で、最も重要な役割を果たす再帰層はどれか？
• RQ4 同じ文字のニューラル軌道は、異なるテキストや筆者間で一貫性を示すか？
• RQ5 プリミング条件は、RNNの隠れ空間におけるニューラル軌道の構造にどのように影響するか？

主な発見

• 異なる筆跡スタイルは、ニューラル軌道分布の顕著な差異によって裏付けられるように、RNNの内部ニューラル空間における異なる部分空間に符号化されている。
• 同じ文字のニューラル軌道は筆者によって異なるが、特定のスタイル内では一貫性を示しており、文字固有のパターンが動的符号化されていることが示唆される。
• 2番目の再帰層は、異なるスタイル間でニューラル軌道に顕著な差異を示しており、スタイル維持に重要な役割を果たしていると考えられる。
• 統計的分析（Mann-Whitney U検定、p < 0.001）により、スタイル間の軌道差が同一スタイル内での差よりも顕著に大きいことが確認された。
• 第1および第3の再帰層も、スタイル間で顕著な軌道パターンの差を示しており、スタイル情報の分散表現が行われていることが示された。
• 同じスタイルの文字は、それぞれの部分空間内で固有の状態ダイナミクスとして表現されており、文字レベルの情報が時間的ダイナミクスに埋め込まれていることが明らかになった。