[논문 리뷰] A Fixed-Size Encoding Method for Variable-Length Sequences with its Application to Neural Network Language Models

Shiliang Zhang, Hui Jiang외 3명|arXiv (Cornell University)|2015. 05. 06.

Topic Modeling참고 문헌 16인용 수 13

한 줄 요약

이 논문은 고정 크기의 벡터로 가변 길이 시퀀스를 인코딩하는 데 사용되는 고유한 방법인 고정 크기 순서 기억 상실 인코딩(Fixed-Size Ordinally-Forgetting Encoding, FOFE)을 제안한다. 이 방법은 감쇠 인자 α를 가진 순환적이고 위치에 의존하는 기억 상실 메커니즘을 사용한다. FOFE는 순환 구조 없이도 피드포워드 신경망 언어 모델(FNN-LMs)이 장기 의존성을 포착할 수 있도록 하여 펜 트리뱅크 및 대규모 텍스트 압축 벤치마크에서 최신 기술 수준의 성능을 달성한다. 이는 LSTM 기반 RNN-LMs를 능가한다.

ABSTRACT

In this paper, we propose the new fixed-size ordinally-forgetting encoding (FOFE) method, which can almost uniquely encode any variable-length sequence of words into a fixed-size representation. FOFE can model the word order in a sequence using a simple ordinally-forgetting mechanism according to the positions of words. In this work, we have applied FOFE to feedforward neural network language models (FNN-LMs). Experimental results have shown that without using any recurrent feedbacks, FOFE based FNN-LMs can significantly outperform not only the standard fixed-input FNN-LMs but also the popular RNN-LMs.

연구 동기 및 목표

• 고정 크기의 컨텍스트 윈도우로 인해 표준 FNN-LMs가 장기 의존성을 모델링하는 데 한계를 가진다는 문제를 해결하기 위해.
• 시퀀스 길이에 따라 변하지 않는 고정 크기의 인코딩 방법을 개발하여, 단어 순서와 시퀀스 역사 정보를 유지하기 위해.
• 피드포워드 신경망이 순환 피드백이나 BPTT를 사용하지 않고도 순환 네트워크와 비교하여 동등하거나 우수한 성능을 달성할 수 있도록 하기 위해.
• 기억 인자(Forgetting Factor)를 사용하여 이산 시퀀스에 대해 이론적으로 타당하고 효율적이며 고유한 인코딩 메커니즘을 제공하기 위해.

제안 방법

• FOFE는 각 단어를 다음과 같은 재귀 공식을 사용해 인코딩한다: $\mathbf{z}_t = \alpha \cdot \mathbf{z}_{t-1} + \mathbf{e}_t$, 여기서 $\mathbf{e}_t$는 t번째 단어의 1-of-K 임베딩이고, $\alpha \in (0,1)$은 기억 상실 인자이다.
• 결과적으로 생성된 FOFE 코드 $\mathbf{z}_t$는 고정 크기의 벡터이며, 단어 위치에 따라 영향력이 지수적으로 감쇠하는 방식으로 이전 단어 정보를 누적한다.
• α ∈ (0.5, 1)일 경우, 유한한 예외적인 α 값 집합 외에는 모든 시퀀스 길이 T에 대해 거의 고유한 인코딩을 보장한다.
• FOFE는 FNN-LMs에 통합되어 고정 크기 컨텍스트 윈도우 대신 FOFE로 인코딩된 이전 시퀀스 벡터를 네트워크의 입력으로 사용한다.
• 모델은 BPTT 없이 표준 backpropagation를 사용하여 훈련되며, 이는 GPU 기반의 효율적인 훈련을 가능하게 한다.
• 이론적 분석을 통해 복호화 모호성은 가산적인 유한한 α 값 집합에서만 발생하며, 실질적인 고유성 보장을 한다.

실험 결과

연구 질문

• RQ1 고정 크기의 인코딩 방법이 순환 구조 없이도 가변 길이 시퀀스에서 순서와 장기 컨텍스트를 유지할 수 있는가?
• RQ2 FOFE 기반 FNN-LMs가 고정 컨텍스트 윈도우를 사용하는 표준 FNN-LMs보다 언어 모델링 성능에서 뛰어나게 되는가?
• RQ3 FOFE 기반 FNN-LMs가 순환 피드백을 사용하지 않고도 RNN-LMs, 특히 LSTM 변종과 비교해 동등하거나 뛰어난 성능을 달성할 수 있는가?
• RQ4 기억 인자 α의 일반적인 값에 대해 FOFE 인코딩이 거의 고유한가?
• RQ5 FOFE-FNN-LM 훈련에서 BPTT가 없음으로 인해 RNN-LMs에 비해 더 빠르고 안정적인 학습이 이루어지는가?

주요 결과

• 펜 트리뱅크 코퍼스에서 2차 FOFE-FNNLM은 테스트 퍼플렉서티 108을 기록하여 가장 우수한 표준 FNN-LM(113)과 RNN-LM(112)을 모두 능가했다.
• 대규모 텍스트 압축 벤치마크(LTCB)에서 2차 FOFE-FNNLM은 테스트 퍼플렉서티 107을 기록하여 가장 우수한 베이스라인 FNN-LM(112)과 RNN-LM(112)을 초월했다.
• FOFE 기반 FNN-LM은 [2*200]-600-600-80k 아키텍처를 사용하여 LTCB에서 퍼플렉서티 107을 달성했으며, 더 큰 FNN-LMs와 RNN-LMs보다 뛰어난 성능을 보였다.
• 이론적 분석을 통해 α ∈ (0.5, 1)일 경우 FOFE는 거의 고유한 인코딩을 제공하며, 모호성은 가산적인 유한한 α 값 집합에서만 발생한다.
• FOFE-FNN-LM 훈련은 GPU에서 매우 효율적이며, RNN에서 사용하는 BPTT의 계산 복잡도를 피한다.
• 순환 피드백이 없음에도 불구하고 이 방법은 FNN-LMs가 장기 의존성을 효과적으로 모델링할 수 있도록 하여, 이러한 모델링에 순환 구조가 반드시 필요하다는 가정을 도전한다.