[논문 리뷰] Towards Deep Semantic Analysis Of Hashtags

Piyush Bansal, Romil Bansal외 1명|arXiv (Cornell University)|2015. 01. 13.

Topic Modeling참고 문헌 8인용 수 7

한 줄 요약

이 논문은 소셜 미디어에서 의미 있는 엔티티로 해시태그를 분할하고 지식 기반(예: 위키백과)과 연결하는 맥락 인식 방법을 제안한다. 문법적, 의미적, 맥락적 특징을 조합한 회귀 기반 순위 매기기 모델을 사용하여, 해시태그 엔티티 연결에서 81.5%의 F1 점수를 기록하고 기준 모델 대비 전체 트윗 엔티티 연결 성능을 15.3% 향상시켰다.

ABSTRACT

Hashtags are semantico-syntactic constructs used across various social networking and microblogging platforms to enable users to start a topic specific discussion or classify a post into a desired category. Segmenting and linking the entities present within the hashtags could therefore help in better understanding and extraction of information shared across the social media. However, due to lack of space delimiters in the hashtags (e.g #nsavssnowden), the segmentation of hashtags into constituent entities ("NSA" and "Edward Snowden" in this case) is not a trivial task. Most of the current state-of-the-art social media analytics systems like Sentiment Analysis and Entity Linking tend to either ignore hashtags, or treat them as a single word. In this paper, we present a context aware approach to segment and link entities in the hashtags to a knowledge base (KB) entry, based on the context within the tweet. Our approach segments and links the entities in hashtags such that the coherence between hashtag semantics and the tweet is maximized. To the best of our knowledge, no existing study addresses the issue of linking entities in hashtags for extracting semantic information. We evaluate our method on two different datasets, and demonstrate the effectiveness of our technique in improving the overall entity linking in tweets via additional semantic information provided by segmenting and linking entities in a hashtag.

연구 동기 및 목표

• 공백이 없는 해시태그에서 의미를 추출하는 데 어려움이 있는 소셜 미디어 환경에서 표준 토크나이제이션 기법이 실패하는 문제를 해결한다.
• 기존 시스템이 해시태그를 단일 토큰으로 간주하거나 감성 및 엔티티 분석에서 이를 무시하는 한계를 극복한다.
• 분할된 해시태그에서 추출한 의미 정보를 활용하여 트윗 내 엔티티 연결 성능을 향상시킨다.
• 모호하거나 다수의 타당한 분할 방식이 존재하는 해시태그를 다룰 수 있는 강력한 맥락 인식 시스템을 개발한다.
• 해시태그 의미 정보가 감성 분석, 이벤트 탐지, 검색 향상과 같은 후속 NLP 작업에 어떻게 기여하는지 입증한다.

제안 방법

• 각 해시태그에 대해 후보 분할 집합을 생성하기 위해 가변 길이 슬라이딩 윈도우 기법을 사용한다.
• 일반어, 바이그램, 대문자 사용 여부, 트윗 맥락, 위키백과 엔티티와의 의미 유사도 등 다양한 특징을 추출한다.
• 5겹 교차 검증(k=5)을 통해 훈련된 회귀 모델을 사용하여 트윗 맥락과의 일관성에 기반해 분할을 순위 매긴다.
• 상위 순위의 분할 결과를 지식 기반 연결 파이프라인에 통합하여 엔티티를 위키백과 페이지에 매핑한다.
• 인간 레이블 기반 황금 표준 데이터를 활용한 투표 메커니즘을 적용하여 모델을 훈련하고 평가함으로써 모호성에 대한 강건성을 확보한다.
• 두 데이터셋(NeEL 및 스탠포드 감성 분석 데이터셋)에서 분할 및 엔티티 연결 성능을 평가하기 위해 P@n 및 F1 점수를 사용한다.

실험 결과

연구 질문

• RQ1 단어 경계가 존재하지 않는 상황에서 어떻게 효과적으로 의미적으로 통일된 엔티티로 해시태그를 분할할 수 있는가?
• RQ2 트윗 맥락을 통합할 경우 맥락 독립적 방법에 비해 해시태그 분할 및 엔티티 연결 정확도가 얼마나 향상되는가?
• RQ3 분할된 해시태그에서 추출한 의미 정보가 트윗 내 전체 엔티티 연결 성능 향상에 기여하는가?
• RQ4 일반어, 맥락, 대문자 사용 등 다양한 특징 유형이 올바른 해시태그 분할 순위 매기기에 기여하는 정도는 어떠한가?
• RQ5 해시태그와 트윗 간의 의미 일관성이 엔티티 연결 품질에 미치는 영향은 어떠한가?

주요 결과

• 제안된 시스템은 NEEL 데이터셋에서 해시태그 엔티티 연결 작업에서 F1 점수 81.5%를 기록했으며, 기준 모델(F1: 42.9%) 대비 36.1% 향상되었다.
• 스탠포드 감성 분석 데이터셋에서 시스템은 해시태그 분할에 대해 P@1 87.3%를 기록했으며, 워드 브레이커(78.9%)를 초월했다.
• 맥락 특징을 통합함으로써 일반어 기반 기준 대비 분할 성능이 1.1% 향상되었으며, 관련성 및 맥락 특징이 특히 기여했다.
• 기준 모델 대비 전체 트윗 엔티티 연결 성능이 F1 점수 기준 15.3% 향상되어, 해시태그 의미 정보가 보다 넓은 NLP 작업에 기여하는 바를 입증했다.
• 스탠포드 데이터셋에서의 플라이스 카파 0.89는 강력한 평가자 간 일치도를 확인하여 인간 레이블 기반 황금 표준의 신뢰성을 입증한다.
• 맥락 및 관련성 특징을 추가함으로써 가장 높은 점수 상승(최대 P@1 +1.1%)을 기록하여, 이들이 타당한 분할을 해소하는 데 중요한 역할을 한다는 점을 강조한다.