[논문 리뷰] Squared English Word: A Method of Generating Glyph to Use Super Characters for Sentiment Analysis

Baohua Sun, Lin Yang외 3명|arXiv (Cornell University)|2019. 01. 24.

Sentiment Analysis and Opinion Mining참고 문헌 7인용 수 13

한 줄 요약

이 논문은 영어 텍스트의 슈퍼 문자 기반 감성 분석을 가능하게 하기 위해 각 단어를 정사각형 기호로 변환하고, 이를 2차원 이미지로 배열하여 2D-CNN 분류를 수행하는 Squared English Word (SEW) 방법을 제안한다. 이 방법은 위키백과에서 정확도를 2.1% 향상시키며, 프로필 특징과 주의 메커니즘을 통합함으로써 기관 예측에서 86.9% 및 소셜 예측에서 85.8%의 F1 점수를 달성한다.

ABSTRACT

The Super Characters method addresses sentiment analysis problems by first converting the input text into images and then applying 2D-CNN models to classify the sentiment. It achieves state of the art performance on many benchmark datasets. However, it is not as straightforward to apply in Latin languages as in Asian languages. Because the 2D-CNN model is designed to recognize two-dimensional images, it is better if the inputs are in the form of glyphs. In this paper, we propose SEW (Squared English Word) method generating a squared glyph for each English word by drawing Super Characters images of each English word at the alphabet level, combining the squared glyph together into a whole Super Characters image at the sentence level, and then applying the CNN model to classify the sentiment within the sentence. We applied the SEW method to Wikipedia dataset and obtained a 2.1% accuracy gain compared to the original Super Characters method. For multi-modal data with both structured tabular data and unstructured natural language text, the modified SEW method integrates the data into a single image and classifies sentiment with one unified CNN model.

연구 동기 및 목표

• 라틴 문자에서 슈퍼 문자의 한계를 해결하기 위해 영어 텍스트에 대해 기호 기반 2D-CNN 감성 분석을 가능하게 하기 위해.
• 일대일이며 손실 없는 전처리 방법을 설계하여 영어 단어를 일관된 이미지 입력을 위한 정사각형 기호로 매핑하기 위해.
• 구조화된 사용자 프로필 데이터를 슈퍼 문자 이미지 표현에 통합하여 영어 텍스트의 감성 분류 정확도를 향상시키기 위해.
• 주목적어 및 프로필 특징에 대한 주의 메커니즘이 CNN 기반 감성 예측 성능 향상에 미치는 영향을 평가하기 위해.
• 대규모 데이터셋인 위키백과 및 소규모 벤치마크인 CL-AFF에서 SEW의 확장성과 효과성을 입증하기 위해.

제안 방법

• 각 영어 단어는 고정 크기의 픽셀 격자를 사용하여 정사각형 기호로 렌더링되어 2D-CNN 입력을 위한 공간적 및 시각적 구조를 유지한다.
• SEW 방법은 개별 단어 기호를 2차원 격자에 배열하여 문장 전체의 이미지를 구성하며, 줄 바꿈과 단어 분할을 방지한다.
• 주목적어, 특히 첫 네 단어에 대해 더 큰 픽셀 영역을 할당하기 위해 2D 블루프린트 배열을 사용하여 주의 메커니즘을 적용한다. 이 배열의 값은 1(큰 글꼴), -1(건너뛰기), 0(비어 있음)이다.
• 프로필 특징(예: 성별, 결혼 상태, 연령)은 단일 문자 기호(예: 'm', 'd', 'f')로 인코딩되어 주의 영역에 지정된 위치에 이미지에 통합된다.
• 최종 이미지는 비구조화된 텍스트와 구조화된 프로필 데이터를 하나의 입력으로 통합하여 통합된 2D-CNN 모델(SE-Net-154)에 입력된다.
• 이 방법은 텍스트 전용 및 다중 모odal 입력을 동적으로 통합하여 테이블 형식과 텍스트 데이터를 하나의 시각적 표현으로 통합함으로써 지원한다.

실험 결과

연구 질문

• RQ1 라틴 문자인 영어에 대해 기호 기반 이미지 표현을 통해 슈퍼 문자 방법을 효과적으로 적용할 수 있는가?
• RQ2 줄 바꿈이 있는 원본 슈퍼 문자와 비교해, 영어 단어를 정사각형 기호로 변환하는 것이 감성 분류 정확도를 향상시키는가?
• RQ3 주목적어에 대한 주의 메커니즘이 감성 예측 작업의 모델 성능 향상에 얼마나 기여하는가?
• RQ4 구조화된 사용자 프로필 데이터를 슈퍼 문자 이미지에 통합하는 것이 다중 모달 감성 분류 성능 향상에 얼마나 효과적인가?
• RQ5 SEW 방법이 대규모 및 소규모 데이터셋 모두에서 측정 가능한 정확도 향상을 가져오는가?

주요 결과

• SEW 방법은 원본 슈퍼 문자 방법 대비 위키백과 데이터셋에서 2.1%의 정확도 향상을 달성했다.
• CL-AFF 공동 과제에서 SEW-텍스트 전용은 원본 슈퍼 문자 기반 모델 대비 소셜 감성 정확도를 82.5%에서 83.3%로 향상시켰다.
• SEW 이미지에 프로필 특징을 통합함으로써 소셜 예측 정확도는 85.6%로, 기관 예측은 86.3%로 향상되었다.
• SEW-텍스트 전용-주의-프로필 특징 방법은 기관 예측에서 최고의 성능인 86.9%의 정확도와 소셜 예측에서 85.8%의 정확도를 기록했다.
• 첫 네 단어에 대한 주의 메커니즘 적용으로 정확도가 0.1% 뿐 향상되어, 더 스마트한 关건어 선택 전략이 성능 향상에 더 큰 기여를 할 수 있음을 시사한다.
• 이 방법은 확장성을 입증하였으며, 대규모 데이터셋(예: 위키백과)에서는 뚜렷한 성과 향상을 보였지만, 소규모 데이터셋(예: CL-AFF)에서는 제한된 향상이 있었는데, 이는 데이터 크기 제약 때문일 가능성이 높다.