[논문 리뷰] Radical-level Ideograph Encoder for RNN-based Sentiment Analysis of Chinese and Japanese

Yuanzhi Ke, Masafumi Hagiwara|arXiv (Cornell University)|2017. 08. 10.

Sentiment Analysis and Opinion Mining인용 수 11

한 줄 요약

이 논문은 중국어 및 일본어의 RNN 기반 감성 분석을 위한 레벨 단위의 한자형 문자 인코더를 제안하며, 전체 문자 대신 레벨 임베딩의 시퀀스로 문자를 표현한다. 이 모델은 문자 임베딩 모델과 동등한 성능을 달성하고, 단어 임베딩 최신 기술 성능에 근접하며, 어휘 집합 크기를 90% 작게 하고 최대 82% 적은 파라미터를 사용하여, 대규모 문자 집합을 가진 비라틴 알파벳 언어에 대해 레벨 수준의 인코딩이 비용 효율적인 대안임을 입증한다.

ABSTRACT

The character vocabulary can be very large in non-alphabetic languages such as Chinese and Japanese, which makes neural network models huge to process such languages. We explored a model for sentiment classification that takes the embeddings of the radicals of the Chinese characters, i.e, hanzi of Chinese and kanji of Japanese. Our model is composed of a CNN word feature encoder and a bi-directional RNN document feature encoder. The results achieved are on par with the character embedding-based models, and close to the state-of-the-art word embedding-based models, with 90% smaller vocabulary, and at least 13% and 80% fewer parameters than the character embedding-based models and word embedding-based models respectively. The results suggest that the radical embedding-based approach is cost-effective for machine learning on Chinese and Japanese.

연구 동기 및 목표

• 중국어 및 일본어 NLP에서 대규모 문자 어휘 집합으로 인한 높은 계산 및 저장 비용을 해결하기 위해.
• 중국어 및 일본어 문자를 감성 분류에 효과적으로 표현하기 위해 레벨 수준의 임베딩이 가능한지 탐색하기 위해.
• 문자 수준 및 단어 수준의 임베딩 기준 모델에 비해 성능을 저하시키지 않으면서 모델 크기와 파라미터 수를 줄이기 위해.
• 감성 분석을 위한 레벨 기반 아키텍처에서 CNN 및 RNN 구성 요소의 효과를 평가하기 위해.
• 제안된 레벨 인코더 프레임워크에서 하이웨이 레이어가 성능 향상에 기여하는지 조사하기 위해.

제안 방법

• 각 중국어 또는 일본어 문자는 공간 순서를 유지하는 방식으로 레벨 수준의 임베딩 시퀀스로 표현된다. 레벨을 백터로 취급하는 것이 아니라 순서를 유지한다.
• 다양한 수신장치를 가진 다중 필터를 사용한 CNN이 레벨 임베딩 시퀀스에서 단어 수준의 특징을 추출한다.
• 각 필터의 출력에 대해 시간에 따른 최대 풀링을 적용하여 고정 길이의 특징 벡터를 생성하며, 이는 가장 두드러진 패턴을 포착한다.
• 양방향 RNN이 풀링된 단어 특징을 처리하여 문서 수준의 맥락을 인코딩하고 장거리 의존성을 포착한다.
• 최종 문서 수준의 표현은 완전히 연결된 레이어와 소프트맥스를 거쳐 감성 분류에 사용된다.
• 세분화된 레벨 수준과 더 넓은 문자 수준의 패턴을 모두 포착하기 위해 다양한 스트라이드(1 및 3)를 가진 필터를 사용한다.

실험 결과

연구 질문

• RQ1 레벨 수준의 임베딩은 중국어 및 일본어 감성 분석에서 문자 수준의 임베딩에 비해 효과적이고 효율적인 대안이 될 수 있는가?
• RQ2 레벨 인코더 모델의 성능은 문자 임베딩 기반 및 단어 임베딩 기반 기준 모델에 비해 정확도와 모델 효율성 측면에서 어떻게 비교되는가?
• RQ3 제안된 레벨 인코더 아키텍처에서 하이웨이 레이어의 포함 여부가 성능 향상에 기여하는가?
• RQ4 레벨을 사용할 경우 얼마나 많은 어휘 집합 크기와 모델 파라미터를 줄일 수 있으며, 경쟁 가능한 정확도를 유지할 수 있는가?
• RQ5 CNN 기반 특징 인코더는 레벨 시퀀스에서 의미 있는 표현을 효과적으로 추출할 수 있는가?

주요 결과

• 제안된 모델은 문자 임베딩 기반 모델과 동등한 성능을 달성했으며, 중국어 및 일본어 감성 분석 데이터셋에서 단어 임베딩 최신 기술 성능에 1-2% 내외로 근접하였다.
• 문자 임베딩 기준 모델에 비해 중국어의 경우 어휘 집합 크기를 90% 작게 하고, 파라미터를 91% 줄였으며, 일본어의 경우 82% 줄였다.
• 문자 임베딩 기반 모델에 비해 최소 13%의 파라미터 감소와 단어 임베딩 기반 모델에 비해 80%의 파라미터 감소를 기록하여 뚜렷한 효율성 향상을 입증하였다.
• 하이웨이 레이어는 성능 향상에 유의미한 기여를 하지 않아 이 작업에 있어 불필요하다는 것이 확인되었다.
• CNN 인코더는 레벨 시퀀스에서 계층적인 특징을 효과적으로 추출하여 컴act하면서도 강력한 표현을 가능하게 하였다.
• 결과적으로, 대규모 문자 집합을 가진 이차원 언어의 NLP에서 레벨 수준 인코딩이 비용 효율적인 대안임을 확인하였다.