[논문 리뷰] $gen$CNN: A Convolutional Architecture for Word Sequence Prediction

Mingxuan Wang, Zhengdong Lu외 3명|arXiv (Cornell University)|2015. 03. 17.

Natural Language Processing Techniques참고 문헌 24인용 수 11

한 줄 요약

이 논문은 순환 단위에 의존하지 않고 텍스트 내 국소적이고 장거리 의존성을 모두 포착할 수 있는 새로운 컨볼루션 신경망 아키텍처인 $gen$CNN을 제안한다. 재귀적이고 다중 척도의 컨볼루션 구조에 더하여 컨볼루션 게이팅 메커니즘을 도입함으로써, $gen$CNN은 언어 모델링 및 기계 번역의 n-best 재정렬에서 최신 기술 수준의 성능을 달성하였으며, RNN 및 LSTM보다도 뚜렷한 격차를 확보하였다.

ABSTRACT

We propose a novel convolutional architecture, named $gen$CNN, for word sequence prediction. Different from previous work on neural network-based language modeling and generation (e.g., RNN or LSTM), we choose not to greedily summarize the history of words as a fixed length vector. Instead, we use a convolutional neural network to predict the next word with the history of words of variable length. Also different from the existing feedforward networks for language modeling, our model can effectively fuse the local correlation and global correlation in the word sequence, with a convolution-gating strategy specifically designed for the task. We argue that our model can give adequate representation of the history, and therefore can naturally exploit both the short and long range dependencies. Our model is fast, easy to train, and readily parallelized. Our extensive experiments on text generation and $n$-best re-ranking in machine translation show that $gen$CNN outperforms the state-of-the-arts with big margins.

연구 동기 및 목표

• 순환 신경망(RNN)과 장기 순환 신경망(LSTM)이 탐색하는 은닉 상태의 탐욕적 요약 방식으로 인해 장거리 의존성을 효율적으로 모델링하지 못하는 데서 비롯되는 한계를 해결하기 위해.
• 전방향 신경망이 국소적 언어적 구조와 장거리 상관관계를 포착하는 데에 비효율적인 점을 극복하기 위해.
• 순차적 데이터에서 국소적 및 전반적인 의존성을 효과적으로 융합할 수 있는 컨볼루션 아키텍처를 설계하여 언어 모델링 및 생성 성능을 향상시키기 위해.
• 순환 아키텍처에 비해 빠르고, 쉽게 학습 가능하며, 높은 수준의 병렬 처리가 가능한 모델을 개발하기 위해.
• 기계 번역 작업에서 단어 시퀀스 예측 및 n-best 재정렬 성능에서 열등한 성능을 보여주는 것을 입증하기 위해.

제안 방법

• 모델은 최근 역사에 대한 $\alpha$ CNN과 이전 역사를 위한 $\beta$ CNN으로 구성된 재귀적 아키텍처를 사용하여 가변 길이의 컨텍스트 모델링이 가능하다.
• $\alpha$ CNN에서 새로운 가중치 공유 전략을 도입함으로써 시간 단계 간 부분적인 공유를 가능하게 하여 시간적 구조를 유지한다.
• 정보 흐름을 동적으로 제어할 수 있도록 컨볼루션 게이팅 메커니즘을 도입하여 표현 학습을 향상시킨다.
• 외부 게이팅을 통한 컨볼루션 및 풀링 레이어의 번갈아 적용을 통해 효과적인 특징 추상화를 가능하게 한다.
• 최종 표현은 완전 연결 레이어와 소프트맥스 레이어를 거쳐 다음 단어의 확률을 예측한다.
• 모델은 순환 구조나 고정 길이 인코딩 없이, 단어 예측에 대한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 재귀 구조 없이도 컨볼루션 아키텍처가 국소적이고 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 $gen$CNN이 언어 모델링의 퍼플렉서티와 생성 품질 측면에서 RNN 기반 및 전방향 신경망 언어 모델보다 뛰어나게 성능을 내는가?
• RQ3 거리에 따라 조건부 확률의 감쇠 정도를 측정했을 때, $gen$CNN은 어느 정도의 수준에서 장거리 상관관계를 유지할 수 있는가?
• RQ4 $gen$CNN은 기존 언어 모델에 비해 신경 기계 번역에서 n-best 재정렬 성능을 향상시킬 수 있는가?
• RQ5 $gen$CNN의 재귀적이고 다중 척도의 설계는 학습 효율성과 병렬 처리에 어떤 기여를 하는가?

주요 결과

• FBIS 데이터셋에서 $gen$CNN은 테스트 퍼플렉서티 181.2를 기록하여 다음으로 우수한 모델인 LSTM(206.9)을 크게 앞서갔다.
• NIST MT2008 테스트 세트에서 $gen$CNN은 n-best 재정렬에서 BLEU 점수 32.50을 기록하여 기준 모델(31.11)과 LSTM 기반 재정렬(31.90)을 모두 초월하였다.
• MT2006 및 MT2008를 종합했을 때 $gen$CNN은 평균 BLEU 점수 36.63을 기록하여 기준 모델보다 1.76 BLEU 포인트 높은 성능을 보였다.
• 어떤 단어가 예측 확률에 미치는 영향력이 거리에 따라 느리게 감쇠함을 확인하여, 40단어가 넘는 거리에서도 강력한 장거리 의존성 모델링 능력을 입증하였다.
• 순환 구조가 아닌 컨볼루션 기반의 비재귀적 설계 덕분에 RNN 및 LSTM보다 더 빠르고, 더 쉽게 병렬 처리가 가능하다.
• 동적 평가에서 $gen$CNN은 RNN 및 LSTM보다 퍼플렉서티 감소 효과가 뛰어나 언어 모델링 능력이 뛰어나다는 것을 입증하였다.