[논문 리뷰] Multichannel CNN with Attention for Text Classification

Zhenyu Liu, Haiwei Huang외 2명|arXiv (Cornell University)|2020. 06. 29.

Topic Modeling참고 문헌 30인용 수 18

한 줄 요약

이 논문은 텍스트 분류를 위한 주의 기반 다중채널 합성곱 신경망(AMCNN)을 제안한다. 이 모델은 양방향 LSTM 인코딩과 스칼라 주의 및 벡터 주의를 결합하여 단어 수준 및 특징 수준의 중요도를 반영하는 다중채널 표현을 생성한다. 이는 n-그램 특징을 효과적으로 추출하고 의미적 풍부함과 강건성을 향상시켜 벤치마크 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Recent years, the approaches based on neural networks have shown remarkable potential for sentence modeling. There are two main neural network structures: recurrent neural network (RNN) and convolution neural network (CNN). RNN can capture long term dependencies and store the semantics of the previous information in a fixed-sized vector. However, RNN is a biased model and its ability to extract global semantics is restricted by the fixed-sized vector. Alternatively, CNN is able to capture n-gram features of texts by utilizing convolutional filters. But the width of convolutional filters restricts its performance. In order to combine the strengths of the two kinds of networks and alleviate their shortcomings, this paper proposes Attention-based Multichannel Convolutional Neural Network (AMCNN) for text classification. AMCNN utilizes a bi-directional long short-term memory to encode the history and future information of words into high dimensional representations, so that the information of both the front and back of the sentence can be fully expressed. Then the scalar attention and vectorial attention are applied to obtain multichannel representations. The scalar attention can calculate the word-level importance and the vectorial attention can calculate the feature-level importance. In the classification task, AMCNN uses a CNN structure to cpture word relations on the representations generated by the scalar and vectorial attention mechanism instead of calculating the weighted sums. It can effectively extract the n-gram features of the text. The experimental results on the benchmark datasets demonstrate that AMCNN achieves better performance than state-of-the-art methods. In addition, the visualization results verify the semantic richness of multichannel representations.

연구 동기 및 목표

• RNN이 장기 의존성을 포착하는 데 어려움을 겪고, CNN이 고정된 필터 너비로 인해 n-그램 특징 추출이 제한되는 문제를 해결하기 위해.
• RNN 기반 모델이 어순을 보조적인 것으로 간주함으로써 발생하는 의미 모호성을 해결하기 위해 주의 메커니즘을 통합하기 위해.
• 스칼라 주의 및 벡터 주의를 활용한 다중채널 모델링을 통해 특징 표현의 다양성과 강건성을 향상시키기 위해.
• 양방향 LSTM, 주의 메커니즘, 그리고 합성곱 특징 추출의 장점을 융합하여 텍스트 분류 성능을 향상시키기 위해.

제안 방법

• 각 단어의 과거 및 미래 맥락을 고차원 표현으로 인코딩하기 위해 양방향 LSTM을 사용한다.
• 스칼라 주의를 적용하여 단어 수준의 중요도 가중치를 계산하여 의미적으로 중요한 단어에 초점을 맞춘다.
• 벡터 주의를 활용하여 특징 수준의 중요도를 계산하고, 정보량에 따라 은닉 상태 차원에 대해 다른 학습률을 할당한다.
• 스칼라 주의 및 벡터 주의 출력을 조합하여 다중채널 표현을 생성함으로써 문장 의미에 대한 다양한 시각을 가능하게 한다.
• 고정된 가중치 합계 대신 다중채널 표현에서 n-그램 특징을 추출하기 위해 가변적 필터 크기를 가진 CNN을 적용한다.
• 최종 분류를 위해 최대 풀링 및 완전 연결층을 사용하며, 은닉 크기, 채널 수, 필터 크기, 특징 맵 수 등의 하이퍼파rameter를 튜닝한다.

실험 결과

연구 질문

• RQ1 스칼라 주의와 벡터 주의를 다중채널 표현과 융합하여 단일 주의 또는 단일 채널 모델을 초월한 텍스트 분류 성능 향상을 이룰 수 있는가?
• RQ2 양방향 LSTM, 주의 메커니즘, 그리고 CNN의 통합이 특징 추출과 의미 표현을 어떻게 향상시키는가?
• RQ3 다중채널 모델링이 텍스트 분류 작업에서 강건성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 은닉 크기, 채널 수, 필터 크기, 특징 맵 수 등의 최적 하이퍼파ram터 설정은 성능을 극대화하는 데 어떤가?

주요 결과

• AMCNN은 MPQA, SST-2, MR, Subj 등의 벤치마크 데이터셋에서 최신 기술 성능을 달성하며 기존 방법을 능가한다.
• MPQA, SST-2, MR 데이터셋에서는 3개 채널에서 가장 우수한 성능를 보이며, Subj 데이터셋에서는 4개 채널에서 최적 성능를 나타내어 최적의 채널 수가 데이터셋에 따라 다름을 시사한다.
• 은닉 크기가 128까지 증가할수록 정확도가 향상되나, 이후에는 성능이 정체되거나 감소함으로써 과소적합과 과적합 사이의 상충 관계가 있음을 나타낸다.
• 필터 크기가 4~8일 때 성능과 파rameter 효율성의 최적 균형을 이룬다. 더 큰 필터 크기에서는 성능 향상이 거의 관찰되지 않는다.
• 특징 맵 수를 늘릴수록 초기에는 정확도가 향상되나, 파rameter 수 증가로 인한 과적합으로 인해 성능이 안정화됨을 보이며, 일정 수준 이후에는 더 이상 향상되지 않는다.
• 벡터 주의 메커니즘이 선택적 특징 조정을 가능하게 하고 은닉 상태의 변형을 통해 모델의 강건성을 향상시켜 성능 향상에 기여한다.