[논문 리뷰] Neural Trajectory Analysis of Recurrent Neural Network In Handwriting Synthesis

Kristof B. Charbonneau, Osamu Shouno|arXiv (Cornell University)|2018. 04. 13.

Handwritten Text Recognition Techniques참고 문헌 2인용 수 3

한 줄 요약

이 논문은 순환 신경망(RNN)이 다양한 손글씨 스타일을 어떻게 생성하는지 해석하기 위해 신경 경로 분석을 도입한다. LSTM 활성화에 가우시안 프로세스 요인 분석(GPFA)을 적용함으로써, 다양한 글쓰기 스타일이 네트워크 내부 공간의 서로 다른 부분공간에 표현되며, 개별 문자는 각 스타일의 부분공간 내에서 고유한 상태 동역학으로 표현된다는 것이 밝혀졌다—이는 특정 순환층이 스타일 유지 및 문자 생성에 기여한다는 것을 시사한다.

ABSTRACT

Recurrent neural networks (RNNs) are capable of learning to generate highly realistic, online handwritings in a wide variety of styles from a given text sequence. Furthermore, the networks can generate handwritings in the style of a particular writer when the network states are primed with a real sequence of pen movements from the writer. However, how populations of neurons in the RNN collectively achieve such performance still remains poorly understood. To tackle this problem, we investigated learned representations in RNNs by extracting low-dimensional, neural trajectories that summarize the activity of a population of neurons in the network during individual syntheses of handwritings. The neural trajectories show that different writing styles are encoded in different subspaces inside an internal space of the network. Within each subspace, different characters of the same style are represented as different state dynamics. These results demonstrate the effectiveness of analyzing the neural trajectory for intuitive understanding of how the RNNs work.

연구 동기 및 목표

• RNN이 집단 수준에서 손글씨 스타일과 문자 동역학을 어떻게 통합적으로 표현하는지 이해하기 위해.
• RNN 기반 손글씨 합성에서 스타일 전이의 내부 신경 표현을 조사하기 위해.
• 다양한 글쓰기 스타일이 RNN의 은닉 공간 내 서로 다른 부분공간에 표현되는지 확인하기 위해.
• 특정 스타일의 부분공간 내에서 개별 문자가 어떻게 동적 상태 경로로 표현되는지 조사하기 위해.
• 개별 순환층이 스타일 및 문자 표현에서 기능적으로 어떻게 특화되어 있는지 규명하기 위해.

제안 방법

• 세 개의 순환층에서 유도된 LSTM 활성화 시간 시리즈의 차원을 줄이기 위해 가우시안 프로세스 요인 분석(GPFA)을 적용하였다.
• 공분산 행렬의 질적 랭크 결함를 해결하기 위해, 중앙값 필터(커널 크기 3)를 사용해 LSTM 활성화를 사전 처리하였다.
• EM 알고리즘을 사용하여 다수의 프라밍 조건과 타겟 텍스트에서 120회의 시행에 대해 GPFA 모델을 피팅하였다.
• 손글씨 합성 기간 동안의 집단 활동을 요약하는 저차원 신경 경로를 추출하였다.
• 다양한 프라밍 조건과 텍스트 조건 간의 신경 경로 분포를 정량적으로 비교하기 위해 KL 발산을 사용하였다.
• 층 간의 경로를 시각화하고 비교하여 스타일 및 문자 표현을 평가하였다.

실험 결과

연구 질문

• RQ1 다른 손글씨 스타일이 RNN의 내부 신경 공간에서 서로 다른 부분공간에 대응하는가?
• RQ2 특정 글쓰기 스타일의 부분공간 내에서 개별 문자는 어떻게 표현되는가?
• RQ3 합성 과정에서 글쓰기 스타일을 유지하는 데 가장 중요한 역할을 하는 순환층은 무엇인가?
• RQ4 동일한 문자에 대한 신경 경로가 다양한 텍스트와 글쓰이자 간에 일관된가?
• RQ5 프라밍 조건은 RNN의 은닉 공간 내 신경 경로의 구조에 어떤 영향을 미치는가?

주요 결과

• 신경 경로 분포의 유의미한 차이를 통해, 다양한 손글씨 스타일이 RNN의 내부 신경 공간 내 서로 다른 부분공간에 표현된다는 것이 입증되었다.
• 동일한 문자에 대한 신경 경로는 글쓰이자 간에 다르지만, 특정 스타일 내에서는 일관되므로, 문자 특유의 패턴이 동적으로 표현된다는 것을 시사한다.
• 두 번째 순환층에서 스타일 간의 신경 경로 차이가 가장 두드러지게 나타나, 스타일 유지에 핵심적인 역할을 한다는 것이 나타났다.
• 통계적 분석(Mann-Whitney U-검정, p < 0.001)은 스타일 간 경로 차이가 같은 스타일 내 경로 차보다 유의미하게 크다는 것을 확인하였다.
• 첫 번째 및 세 번째 순환층 또한 스타일 간에 경로 패턴의 유의미한 차이를 보이며, 스타일 정보의 분산 표현을 시사한다.
• 동일한 스타일의 문자는 해당 부분공간 내에서 고유한 상태 동역학으로 표현되며, 문자 수준의 정보가 시간적 동역학에 통합되어 있음을 보여주었다.