[논문 리뷰] Interpreting the Syntactic and Social Elements of the Tweet Representations via Elementary Property Prediction Tasks

J Ganesh, Manish Gupta외 1명|arXiv (Cornell University)|2016. 11. 15.

Topic Modeling참고 문헌 10인용 수 3

한 줄 요약

이 논문은 문장 구조적(예: 길이, 어순, 슬랭, 해시태그, 명명된 실체) 및 사회적(예: 회신 여부, 회신 시간) 성질을 탐색함으로써 트윗 표현을 해석하기 위한 기본 성질 예측 작업 세트를 제안한다. 9개의 비지도 학습 모델과 4개의 지도 학습 모델을 사용하여, 순환 모델인 BLSTM과 LSTM이 문장 구조적 및 사회적 특징을 가장 잘 포착하는 것으로 밝혀졌으며, 순서 정보를 잃은 BOW 모델이 오히려 어순 예측에서 놀랍게 높은 성능을 보였다.

ABSTRACT

Research in social media analysis is experiencing a recent surge with a large number of works applying representation learning models to solve high-level syntactico-semantic tasks such as sentiment analysis, semantic textual similarity computation, hashtag prediction and so on. Although the performance of the representation learning models are better than the traditional baselines for the tasks, little is known about the core properties of a tweet encoded within the representations. Understanding these core properties would empower us in making generalizable conclusions about the quality of representations. Our work presented here constitutes the first step in opening the black-box of vector embedding for social media posts, with emphasis on tweets in particular. In order to understand the core properties encoded in a tweet representation, we evaluate the representations to estimate the extent to which it can model each of those properties such as tweet length, presence of words, hashtags, mentions, capitalization, and so on. This is done with the help of multiple classifiers which take the representation as input. Essentially, each classifier evaluates one of the syntactic or social properties which are arguably salient for a tweet. This is also the first holistic study on extensively analysing the ability to encode these properties for a wide variety of tweet representation models including the traditional unsupervised methods (BOW, LDA), unsupervised representation learning methods (Siamese CBOW, Tweet2Vec) as well as supervised methods (CNN, BLSTM).

연구 동기 및 목표

• 트윗 표현에 포함된 핵심 문장 구조적 및 사회적 성질이 무엇인지 이해하기 위해 고수준 작업 성능을 넘어서는 것.
• 신경망 기반 트윗 표현 모델의 투명성 부족 문제를 해결하기 위해 세밀하고 응용에 종속되지 않는 탐색 작업을 도입하는 것.
• 여러 트윗의 내재적 성질을 기준으로 전통적, 비지도 학습, 지도 학습 표현 학습 모델을 비교하는 것.
• 모델 아키텍처와 학습 목표가 짧고 비공식적인 텍스트에서 구조적 및 사회적 특징을 어떻게 인코딩하는지 탐구하는 것.

제안 방법

• 8개의 기본 성질 예측 작업 정의: 트윗 길이, 콘텐츠 존재 여부, 어순, 슬랭 정규화, 해시태그 탐지, 명명된 실체 인식, 회신 여부, 회신 시간.
• 각 성질을 트윗 표현에서 예측하기 위해 두 층의 신경망 분류기(표현 + 소프트맥스)를 사용.
• 각 작업에서 균형 잡힌 학습 데이터를 구성하기 위해 음성 샘플링 또는 구간화 전략 적용(예: 트윗 길이를 4단위로 그룹화).
• 여러 입력이 필요한 경우(예: 어순 예측 시 두 단어의 표현을 연결) 임베딩을 연결.
• 13개의 모델 평가: 9개의 비지도 학습 모델(BOW, LDA, BOM, DSSM, CDSSM, PV, STV, SCBOW, T2V)과 4개의 지도 학습 모델(CNN, LSTM, BLSTM, FT).
• F1 점수를 사용하여 다양한 모델과 작업 간 성능 비교하고, 어순 민감도 및 트윗 길이에 따른 영향 분석.

실험 결과

연구 질문

• RQ1 다양한 트윗 표현 모델에 어떤 문장 구조적 및 사회적 성질이 효과적으로 인코딩되어 있는가?
• RQ2 지도 학습 모델과 비지도 학습 모델은 기본 트윗 성질을 유지하는 능력에서 어떻게 다를까?
• RQ3 어떤 표현 모델에서 어순이 얼마나 잘 보존되어 있으며, 이는 순서 민감한 작업 성능에 어떻게 영향을 미치는가?
• RQ4 트윗 길이가 다양한 모델에서 기본 성질 예측 정확도에 어떤 영향을 미치는가?
• RQ5 기본 성질 예측 작업에서의 성능이 후속 소셜 미디어 응용(예: 사용자 프로필링, 대화 모델링)에 적합한지 예측할 수 있는가?

주요 결과

• BLSTM는 '명명된 실체' 작업에서 가장 높은 F1 점수(92.76%)를 기록하여 T2V와 같은 전용 모델조차도 압도했다.
• LSTM와 BLSTM는 '길이' 및 '회신 여부' 작업에서 F1 점수 99% 이상을 기록하여 트윗 길이와 사회적 구조를 강력하게 인코딩하고 있음을 시사했다.
• BOW는 '어순' 예측에서 놀랍게 높은 성능(99.79% F1)을 보였으며, 이는 어휘 빈도 패tern과 순서 구조 간 강한 상관관계를 시사한다.
• LDA는 어순에 불변성을 보이며, 기대한 바와 같이 어순 예측에서 거의 0에 가까운 성능(F1 < 10)을 보였다. 이는 BOW 가정에 기인한다.
• CNN, LSTM, BLSTM는 어순에 매우 민감하며, 어순이 뒤바뀌면 성능이 크게 떨어졌다.
• STV 및 T2V와 같은 모델은 대부분의 작업에서 성능이 열악했으며, T2V는 기본 모델조차도 뒤처져 있었는데, 이는 사전학습 단계에서 해시태그 예측에 과적합된 탓으로 보인다.