[논문 리뷰] Feedforward Sequential Memory Networks: A New Structure to Learn Long-term Dependency

Shiliang Zhang, Cong Liu외 4명|arXiv (Cornell University)|2015. 12. 28.

Neural Networks and Applications참고 문헌 38인용 수 68

한 줄 요약

이 논문은 순환 피드백이 없는 피드포워드 신경망인 피드포워드 순차 메모리 네트워크(FFSMN)를 제안한다. 이는 탭드딜레이 라인을 사용해 장기적 맥락 정보를 고정 크기의 표현으로 인코딩하는 학습 가능한 메모리 블록을 갖추고 있으며, 이로 인해 장기적 의존성을 효율적으로 모델링할 수 있다. FSMN은 음성 인식 및 언어 모델링에서 RNN과 LSTMs를 능가하며, 더 빠른 수렴과 벤치마크 과제에서 최고 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel neural network structure, namely \emph{feedforward sequential memory networks (FSMN)}, to model long-term dependency in time series without using recurrent feedback. The proposed FSMN is a standard fully-connected feedforward neural network equipped with some learnable memory blocks in its hidden layers. The memory blocks use a tapped-delay line structure to encode the long context information into a fixed-size representation as short-term memory mechanism. We have evaluated the proposed FSMNs in several standard benchmark tasks, including speech recognition and language modelling. Experimental results have shown FSMNs significantly outperform the conventional recurrent neural networks (RNN), including LSTMs, in modeling sequential signals like speech or language. Moreover, FSMNs can be learned much more reliably and faster than RNNs or LSTMs due to the inherent non-recurrent model structure.

연구 동기 및 목표

• 기울기 소실/폭발 문제와 높은 계산 비용으로 인해 장기적 의존성을 학습하는 데 한계가 있는 순환 신경망(RNN)의 문제를 해결하기 위해.
• 순환 피드백 없이도 장기적 맥락 정보를 효율적으로 포착할 수 있는 피드포워드 아키텍처를 개발하기 위해.
• RNN과 LSTMs에 비해 훈련 속도와 신뢰성을 향상시키면서도 순차 모델링 과제에서 성능을 유지하거나 초월하기 위해.
• 탭드딜레이 라인 구조를 통한 고정 크기의 메모리 표현이 순차 데이터 모델링에 얼마나 효과적인지 탐구하기 위해.

제안 방법

• 은닉층에 학습 가능한 메모리 블록을 갖춘 완전히 연결된 피드포워드 네트워크인 피드포워드 순차 메모리 네트워크(FFSMN)를 도입한다.
• 메모리 블록에 탭드딜레이 라인 구조를 적용하여 장기적 맥락을 고정 크기의 표현으로 인코딩하며, 이는 일시적 기억을 모방한다.
• 학습 가능한 계수를 갖는 유한 임펄스 응답(FIR) 필터를 사용해 순차 입력 간의 시간적 의존성을 모델링한다.
• 스칼라 및 벡터화된 FSMN 변형을 적용: 스칼라 FSMN은 블록당 하나의 필터를 사용하며, 벡터화된 FSMN은 입력 차원별로 별도의 필터를 학습한다.
• 백프로파게이션을 통한 시간 역행(backpropagation through time, BPTT) 없이 표준 백프로파게이션을 사용해 모델을 훈련시켜 더 빠르고 안정적인 학습을 가능하게 한다.
• 음성 인식 및 언어 모델링 과제에 표준 피드포워드 네트워크에 FSMN 블록을 통합한다.

실험 결과

연구 질문

• RQ1 학습 가능한 메모리 블록을 갖춘 피드포워드 신경망이 순차 데이터의 장기적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 음성 및 언어 과제에서 장기적 의존성을 모델링할 때 FSMN의 성능은 RNN과 LSTMs에 비해 어떻게 다른가?
• RQ3 FSMN에서 순환 피드백이 없는 것이 RNN과 LSTMs에 비해 더 빠르고 안정적인 훈련을 이끌어내는가?
• RQ4 스칼라 및 벡터화된 FSMN 변형 간의 성능과 학습된 필터 행동은 다양한 과제에서 어떻게 다를까?
• RQ5 학습된 FIR 필터 계수는 자연어나 음성 패턴(예: 가까운 맥락의 중요도가 더 높음)을 얼마나 잘 반영하는가?

주요 결과

• 영어 wiki9 언어 모델링 과제에서 FSMN은 퍼플렉서티 90을 달성하여 RNN-LM(112)과 FOFE-LM(104)을 크게 능가한다.
• FSMN 기반 언어 모델은 약 5 에포크 내에 수렴하는 반면, RNN-LM은 15 에포크 이상이 소요되어 훨씬 더 빠른 훈련을 보여준다.
• PTB 언어 모델링 과제에서 FSMN은 RNN과 LSTMs에 비해 더 빠른 수렴과 향상된 안정성으로 최고 성능을 기록한다.
• FSMN에서 학습된 FIR 필터 계수는 자연어의 특성을 반영하며, 가까운 맥락에 더 높은 가중치를 할당하고 먼 맥락에 대해서는 점점 감소하는 경향을 보인다.
• 스칼라 및 벡터화된 FSMN 변형은 언어 모델링 과제에서 유사한 성능을 기록하며, 차원 간 학습된 필터가 매우 유사하기 때문이다. 그러나 음성 인식 과제에서는 벡터화된 FSMN가 스칼라 FSMN를 능가한다.
• 제안된 FSMN 아키텍처는 순환 피드백 없이도 효과적인 장기 맥락 인코딩을 가능하게 하여, RNN과 LSTMs의 신뢰성 있고 효율적인 대안이 된다.