[논문 리뷰] CNN Is All You Need

Qiming Chen, Wu Ren|arXiv (Cornell University)|2017. 12. 27.

Multimodal Machine Learning Applications참고 문헌 18인용 수 8

한 줄 요약

이 논문은 순차적 순서 인식의 부재를 보완하기 위해 개선된 위치 민감도를 갖춘 PoseNet을 제안한다. 이는 표준 CNN에서 흔히 볼 수 있는 순서 인식 부족 문제를 해결하기 위한 것으로, 인코더와 디코더에서 위치 정보를 비대칭적으로 처리함으로써 순차적 순서 학습에 적합한 CNN 아키텍처를 개발하였다. PoseNet은 기계 번역 작업에서 CNN 기반으로 최고 성능을 기록하였으며, WMT 2014 기준 영어-독어 번역에서 33–36 BLEU, 영어-프랑스어 번역에서 44–46 BLEU의 성능을 달성하였다.

ABSTRACT

The Convolution Neural Network (CNN) has demonstrated the unique advantage in audio, image and text learning; recently it has also challenged Recurrent Neural Networks (RNNs) with long short-term memory cells (LSTM) in sequence-to-sequence learning, since the computations involved in CNN are easily parallelizable whereas those involved in RNN are mostly sequential, leading to a performance bottleneck. However, unlike RNN, the native CNN lacks the history sensitivity required for sequence transformation; therefore enhancing the sequential order awareness, or position-sensitivity, becomes the key to make CNN the general deep learning model. In this work we introduce an extended CNN model with strengthen position-sensitivity, called PoseNet. A notable feature of PoseNet is the asymmetric treatment of position information in the encoder and the decoder. Experiments shows that PoseNet allows us to improve the accuracy of CNN based sequence-to-sequence learning significantly, achieving around 33-36 BLEU scores on the WMT 2014 English-to-German translation task, and around 44-46 BLEU scores on the English-to-French translation task.

연구 동기 및 목표

• 표준 CNN이 순서 모델링에서 순서 정보와 장거리 의존성을 포착하는 데에 한계를 지닌다는 문제를 해결하기 위해.
• RNN의 순차적 계산 병목 현상은 해결하면서도 장기 의존성을 유지할 수 있도록 하기 위해.
• 기계 번역과 같은 순서-순서 학습 작업에서 RNN 성능을 맞추거나 초월하는 CNN 기반 아키텍처를 개발하기 위해.
• 시퀀스 내 토큰 순서에 대한 모델의 인식 능력을 향상시키기 위한 새로운 위치 민감도 메커니즘을 도입하기 위해.
• 신경 기계 번역을 위한 표준 벤치마크 데이터셋에서 제안된 아키텍처의 효과성을 입증하기 위해.

제안 방법

• 순차적 모델링을 향상시키기 위해 향상된 위치 민감도를 갖춘 확장된 CNN 모델인 PoseNet을 제안한다.
• 위치 정보 처리를 비대칭적으로 적용한다: 인코더는 상대적 위치 인코딩을 사용하고, 디코더는 절대적 위치 인코딩을 사용한다.
• 순서 정보를 유지하기 위해 학습 가능한 위치 임베딩을 컨볼루션 레이어에 통합한다.
• 파rameter 수를 증가시키지 않으면서도 수감 범위를 확장하기 위해 확장된 컨볼루션(드일레이티드 컨볼루션)을 사용한다.
• 어텐션 메커니즘을 활용한 순서-순서 학습 목표함수를 사용해 모델을 엔드 투 엔드로 훈련한다.
• RNN의 순차적 계산 방식과는 달리, 병렬 처리가 가능한 컨볼루션 연산을 활용해 더 빠른 훈련을 달성한다.

실험 결과

연구 질문

• RQ1 재귀적 아키텍처에 의존하지 않고도 CNN 기반 모델이 순서-순서 작업에서 경쟁력 있는 성능을 낼 수 있는가?
• RQ2 CNN에서 순서 의존성 모델링을 향상시키기 위해 위치 민감도를 효과적으로 강화할 수 있는가?
• RQ3 CNN이 RNN과 경쟁할 수 있도록 하기 위해 필요한 아키텍처 수정 사항은 무엇인가?
• RQ4 인코더와 디코더에서 위치 정보를 비대칭적으로 처리하면 기계 번역 작업 성능 향상에 기여하는가?
• RQ5 순수하게 컨볼루션 기반 아키텍처가 표준 기계 번역 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• PoseNet은 WMT 2014 영어-독어 번역 작업에서 33–36 BLEU를 기록하여 CNN 기반 모델로서 뛰어난 성능을 보였다.
• 영어-프랑스어 번역 작업에서는 44–46 BLEU를 달성하여 RNN 기반 모델의 성능에 근접하였다.
• 강화된 위치 민감도 메커니즘 덕분에 표준 CNN보다 순서 모델링 성능에서 뛰어난 성능을 보였다.
• 인코더와 디코더에서 위치 정보를 비대칭적으로 처리함으로써 대칭적이거나 단순한 접근 방식보다 성능 향상이著명했다.
• 확장된 컨볼루션의 사용 덕분에 계산 비용을 줄이며 장거리 의존성을 효과적으로 모델링할 수 있었다.
• RNN의 순차적 계산 방식과는 달리 컨볼루션 연산의 병렬 처리 특성 덕분에 훈련 효율성이 향상되었다.