[논문 리뷰] Going Wider: Recurrent Neural Network With Parallel Cells

Danhao Zhu, Si Shen외 2명|arXiv (Cornell University)|2017. 05. 03.

Natural Language Processing Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 학습 능력을 향상시키기 위해 각 레이어당 하나의 큰 순환 셀을 다수의 더 작은 병렬 RNN 셀로 대체하는 새로운 RNN 아키텍처인 병렬 셀(Parallel Cells, PCs)을 제안한다. 병렬 셀 간의 은닉 상태 계산을 분리함으로써 관련 없는 과거 특징으로 인한 간섭을 줄여, 최신 기술 수준의 성능을 달성한다: PTB 언어 모델링에서 퍼플렉서티가 78.6에서 75.3으로 감소하고, 중국어-영어 번역 작업에서 BLEU 점수는 0.39 포인트 향상된다.

ABSTRACT

Recurrent Neural Network (RNN) has been widely applied for sequence modeling. In RNN, the hidden states at current step are full connected to those at previous step, thus the influence from less related features at previous step may potentially decrease model's learning ability. We propose a simple technique called parallel cells (PCs) to enhance the learning ability of Recurrent Neural Network (RNN). In each layer, we run multiple small RNN cells rather than one single large cell. In this paper, we evaluate PCs on 2 tasks. On language modeling task on PTB (Penn Tree Bank), our model outperforms state of art models by decreasing perplexity from 78.6 to 75.3. On Chinese-English translation task, our model increases BLEU score for 0.39 points than baseline model.

연구 동기 및 목표

• 표준 RNN에서 은닉 상태 간의 전면적 연결로 인해 관련 없는 과거 특징으로 인한 노이즈가 발생할 수 있는 한계를 해결하기 위해.
• 시퀀스 모델링 작업에서 순환 네트워크의 표현 능력과 학습 효율성을 향상시키기 위해.
• 순차적 처리를 유지하면서도 관련 없는 특징 간의 간섭을 줄이는 표준 RNN의 아키텍처적 대안을 탐색하기 위해.
• 은닉 상태 계산을 병렬 셀 간에 분산시키는 것이 표준 NLP 벤치마크에서 더 나은 성능을 내는지 평가하기 위해.

제안 방법

• 각 레이어 내에서 하나의 큰 RNN 셀을 다수의 더 작은 독립적인 RNN 셀로 병렬로 운영하는 방식으로 대체한다.
• 각 병렬 셀은 자체 은닉 상태를 유지하며 입력을 독립적으로 처리함으로써 관련 없는 과거 특징에 대한 의존도를 낮춘다.
• 모든 병렬 셀의 출력은 다음 레이어로 전달되기 전에 연결하거나 합산한다. 이는 순차적 모델링 능력을 유지한다.
• 표준 시간에 따른 역전파(backpropagation through time)를 사용해 엔드 투 엔드로 학습하며, 학습 과정에 아키텍처적 변경 없이 그대로 적용된다.
• 핵심 RNN 계산을 수정하지 않고도 언어 모델링 및 신경 기계 번역 작업에 모두 적용된다.
• 병렬 셀의 수는 검증 데이터에서 튜닝된 하이퍼파라미터이며, 실험 결과 중간 수준의 셀 수에서 성능 향상이 나타났다.

실험 결과

연구 질문

• RQ1 하나의 큰 RNN 셀을 다수의 더 작은 병렬 셀로 대체하는 것이 시퀀스 모델링 성능을 향상시킬 수 있는가?
• RQ2 은닉 상태에서 특징 간 간섭을 줄이면 RNN의 일반화 성능이 향상되는가?
• RQ3 표준 NLP 벤치마크에서 병렬 셀 아키텍처는 표준 RNN 및 기타 최신 기술 모델과 비교해 어떻게 성능을 내는가?
• RQ4 과적합을 피하면서도 성능 향상을 달성하기 위한 최적의 병렬 셀 수는 얼마인가?

주요 결과

• 펜 트리뱅크(PTB) 언어 모델링 작업에서 제안된 모델은 퍼플렉서티 75.3을 달성하여 기준 모델의 78.6보다 3.3포인트 향상되었다.
• 기준 모델 대비 중국어-영어 번역 작업에서 BLEU 점수는 0.39 포인트 향상되었다.
• 성능 향상은 병렬 셀 간의 분리된 계산으로 인해 관련성이 낮은 과거 특징으로 인한 간섭이 감소했기 때문으로 기인된다.
• RNN의 순차적 인덕티브 바이어스를 유지하면서도 깊이가 아닌 너비를 통해 표현 능력을 향상시킨다.