[논문 리뷰] Log-Linear RNNs: Towards Recurrent Neural Networks with Flexible Prior Knowledge

Marc Dymetman, Chunyang Xiao|arXiv (Cornell University)|2016. 07. 08.

Natural Language Processing Techniques참고 문헌 26인용 수 7

한 줄 요약

이 논문은 순환 신경망(RNN)의 확장판인 로그선형 RNN(LL-RNN)을 소개한다. 표준 소프트맥스 출력층을 로그선형 출력층으로 대체함으로써, 모듈러한 특징을 통해 사전 지식을 탄력적으로 통합할 수 있도록 한다. 이 방법은 형태학적 특징을 활용해 드물거나 미리보지 않은 어형으로의 일반화를 효과적으로 수행함으로써 프랑스어 언어 모델링에서 퍼플렉서티를 감소시킨다. 이는 RNN의 표현 학습 능력과 로그선형 모델의 특징 엔지니어링 능력을 결합한다.

ABSTRACT

We introduce LL-RNNs (Log-Linear RNNs), an extension of Recurrent Neural Networks that replaces the softmax output layer by a log-linear output layer, of which the softmax is a special case. This conceptually simple move has two main advantages. First, it allows the learner to combat training data sparsity by allowing it to model words (or more generally, output symbols) as complex combinations of attributes without requiring that each combination is directly observed in the training data (as the softmax does). Second, it permits the inclusion of flexible prior knowledge in the form of a priori specified modular features, where the neural network component learns to dynamically control the weights of a log-linear distribution exploiting these features. We conduct experiments in the domain of language modelling of French, that exploit morphological prior knowledge and show an important decrease in perplexity relative to a baseline RNN. We provide other motivating iillustrations, and finally argue that the log-linear and the neural-network components contribute complementary strengths to the LL-RNN: the LL aspect allows the model to incorporate rich prior knowledge, while the NN aspect, according to the "representation learning" paradigm, allows the model to discover novel combination of characteristics.

연구 동기 및 목표

• 드물거나 미리보지 않은 어형으로의 일반화를 가능하게 하여 시퀀스 모델링에서의 데이터 희소성 문제를 해결하기 위해.
• 형태학적 또는 의미적 특징과 같은 풍부하고 구조화된 사전 지식을 원칙적인 방식으로 RNN에 통합할 수 있도록 하기 위해.
• 신경망의 표현 학습 능력과 로그선형 모델의 특징 조합 능력을 결합하기 위해.
• '알 수 없는' 토큰에 대한 의존도를 줄이기 위해, 단어 형태를 고립된 기호가 아니라 속성의 조합으로 모델링하기 위해.
• RNN의 은닉 상태를 통해 사전 정의된 특징들의 가중치를 동적으로, 맥락에 따라 조절할 수 있도록 하기 위해.

제안 방법

• RNN의 표준 소프트맥스 출력층을 로그선형 출력층으로 대체하며, 출력 분포는 $ p(y|\mathbf{h}) = \frac{1}{Z} \exp\left(\sum_{i} a_i(\mathbf{h}) \cdot \phi_i(y) \right) $ 로 매개변수화된다. 여기서 $ \mathbf{h} $는 RNN의 은닉 상태이다.
• LSTM 또는 GRU와 같은 신경망을 사용하여 활성화 벡터 $ \mathbf{a}_{\theta,t} = g_{\theta}(h_t) $ 를 계산함으로써, 로그선형 특징의 가중치를 동적으로 제어한다.
• 출력 특징 $ \phi_i(y) $ 는 기호적 출력(예: 형태학적 태그, 의미 클래스)에 대한 지표 함수로 정의하여, 관련된 어형 간의 일반화를 가능하게 한다.
• 배경 특징 $ b $ 와 모듈러 특징 $ \psi $ 를 통합하여, 필수적인 숫자 형식이나 의미 제약 조건과 같은 사전 지식을 인코딩한다.
• RNN 구성 요소가 맥락에 따라 특징 가중치를 조절하도록, 교차 엔트로피 손실을 사용하여 모델을 종단 간(end-to-end)으로 훈련한다.
• 소프트맥스가 특수한 경우인 조건부 지수족 프레임워크를 사용함으로써, 고정된 어휘 출력을 넘어서 원칙적인 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 RNN에 로그선형 출력층을 적용함으로써, 드문 또는 미리보지 않은 어형으로의 일반화를 통해 언어 모델링에서 퍼플렉서티를 줄일 수 있는가?
• RQ2 형태학적 또는 의미적 특징과 같은 사전 지식을 훈련 데이터에서 각 어형을 명시적으로 관찰하지 않아도 RNN에 효과적으로 통합할 수 있는가?
• RQ3 RNN이 특징의 가중치를 동적으로 제어함으로써, 고정 가중치 로그선형 모델이나 표준 소프트맥스 기반 RNN에 비해 성능 향상이 얼마나 이루어지는가?
• RQ4 모델이 맥락에 따라 특정 특징(예: 대화에서 숫자 삽입)을 적절할 때만 활성화하도록 학습할 수 있는가?
• RQ5 신경망의 표현 학습 능력과 로그선형 특징 조합 능력 간의 상호보완성은 모델링 능력을 얼마나 향상시키는가?

주요 결과

• LL-RNN 모델은 표준 RNN 베이스라인에 비해 프랑스어 언어 모델링 작업에서 퍼플렉서티가 유의미하게 감소하여 드문 단어에 대한 일반화 능력 향상을 입증하였다.
• 로그선형 특징을 통한 형태학적 사전 지식 통합이, 훈련 데이터에서 부족하게 나타난 변화형 어형에 대해 더 나은 성능을 보였다.
• 공유된 특징 표현을 통해 어형 간의 일반화를 통해 '알 수 없는' 토큰에 대한 의존도를 효과적으로 줄였다.
• RNN이 특징 가중치를 동적으로 제어함으로써 맥락에 민감한 특징 활성화가 가능해졌으며, 예를 들어 맥락에 따라 특정 숫자를 삽입할 때만 해당 특징을 활성화할 수 있었다.
• 로그선형 출력층은 소프트맥스보다 더 효율적인 매개변수화를 가능하게 하여, 복잡한 출력 분포를 모델링하는 데 필요한 매개변수 수를 줄였다.
• 이 방법은 신경망의 표현 학습 능력과 로그선형 모델의 사전 지식 통합 능력을 성공적으로 융합하여, 시험된 환경에서 양자 모두를 뛰어넘는 성능을 달성했다.