[논문 리뷰] Entity-Specific Sentiment Classification of Yahoo News Comments

Prakhar Biyani, Cornelia Caragea외 1명|arXiv (Cornell University)|2015. 06. 11.

Sentiment Analysis and Opinion Mining참고 문헌 21인용 수 3

한 줄 요약

이 논문은 야후 뉴스 댓글에서 엔티티 기반 감성 분류를 위한 이단계적 접근법을 제안한다. 문맥 인식 엔티티 추출과 새로운 비어 있는 특징(예: 엔티티 유형, 문법적 역할)을 사용하여 감성 탐지 성능을 향상시킨다. 이 방법은 강력한 베이스라인을 능가하며, 감성 극성 분류에서 F-1 스코어 0.700을 달성했으며, IsPerson 및 IsSubjObj 특징이 가장 유용한 것으로 밝혀졌다.

ABSTRACT

Sentiment classification is widely used for product reviews and in online social media such as forums, Twitter, and blogs. However, the problem of classifying the sentiment of user comments on news sites has not been addressed yet. News sites cover a wide range of domains including politics, sports, technology, and entertainment, in contrast to other online social sites such as forums and review sites, which are specific to a particular domain. A user associated with a news site is likely to post comments on diverse topics (e.g., politics, smartphones, and sports) or diverse entities (e.g., Obama, iPhone, or Google). Classifying the sentiment of users tied to various entities may help obtain a holistic view of their personality, which could be useful in applications such as online advertising, content personalization, and political campaign planning. In this paper, we formulate the problem of entity-specific sentiment classification of comments posted on news articles in Yahoo News and propose novel features that are specific to news comments. Experimental results show that our models outperform state-of-the-art baselines.

연구 동기 및 목표

• 야후 뉴스와 같은 다중 도메인 뉴스 플랫폼의 사용자 댓글에서 감성이 특정 엔티티에 연결되어 있는 데 비해 고정된 대상이 아닌 감성 분석의 격차를 해소하기 위해.
• 뉴스 댓글 감성 분류에서 관련 없는 엔티티와 암시적 감성(예: 풍자, 반어법) 등의 과제를 극복하기 위해.
• 감성 탐지 성능 향상을 위해 새로운 비어 있는 특징(예: 엔티티 유형(사람/비사람), 문법적 역할(주어/목적어))을 설계하고 평가하기 위해.
• 댓글에서 감성 표현과 관련된 엔티티를 식별하는 데 도움이 되는 문맥 추출 알고리즘을 개발하기 위해.
• 댓글 전용 특징(예: 감성 강도, 물음표)이 극성 분류 성능을 추가로 향상시키는지 입증하기 위해.

제안 방법

• 이 방법은 이단계 분류 파이프라인을 사용한다: 먼저 감성과 관련된 엔티티를 식별하고, 그 다음에 해당 엔티티에 대한 감성 극성 분류를 수행한다.
• 문맥 추출 알고리즘은 댓글 내에서 엔티티와 그 주변 문맥을 식별하여 특징의 관련성과 노이즈를 줄인다.
• 비어 있는 특징으로는 IsPerson(엔티티가 사람인지 여부)과 IsSubjObj(엔티티가 주어 또는 목적어인지 여부)를 도입하여 문법적 및 의미적 역할를 포착한다.
• 댓글 전용 특징으로는 NumNeg(부정어 수), PosVsNeg(긍정어 대비 부정어 비율), IsQuesMark(물음표 존재 여부) 등을 사용하여 감성 강도와 수사적 신호를 모델링한다.
• 모델은 보자-오브-워드(BoW) 특징, 품사 태그(POS) 및 감성 어휘 점수(SentiStrength)를 결합하여 극성 분류 성능을 향상시킨다.
• 정보 획득(IG)을 사용하여 특징 중요도를 평가하였으며, IsPerson과 IsSubjObj가 HasClues 및 SentiStrength와 같은 어휘 기반 특징보다 더 유용한 것으로 나타났다.

실험 결과

연구 질문

• RQ1 문맥 인식 엔티티 추출은 뉴스 댓글에서 감성과 관련된 엔티티 식별에 효과적인가?
• RQ2 엔티티 유형과 문법적 역할 등의 비어 있는 특징은 감성과 관련된 엔티티와 관련 없는 엔티티를 얼마나 잘 구분하는가?
• RQ3 감성 강도나 물음표와 같은 댓글 전용 특징은 전통적인 어휘 기반 및 POS 특징을 넘어서 극성 분류 성능을 얼마나 향상시키는가?
• RQ4 암시적 감성 표현(예: 풍자, 반어법)은 감성 분류에 어떤 영향을 미치며, 모델은 이를 효과적으로 탐지할 수 있는가?
• RQ5 다양한 특징들이 감성 분류 성능에 기여하는 비율은 어떻게 되며, 어떤 특징이 가장 정보가 많은가?

주요 결과

• 제안된 모델은 감성 극성 분류에서 F-1 스코어 0.700을 달성하여, SentiStrength(어휘 기반)를 포함한 모든 베이스라인보다 유의미하게 뛰어나며, F-1 = 0.674를 기록했다.
• IsPerson 특징을 제거하면 F-1 스코어가 0.574로 떨어지며, 이는 이 특징이 가장 정보가 많은 특징임을 시사한다. 이어 IsSubjObj(이하 F-1 = 0.636)가 뒤를 이었다.
• 정보 획득을 통한 특징 순위 매기기 결과, IsPerson > IsSubjObj > SentiNeg > HasClues > SentiPos로 나타나 비어 있는 특징이 어휘 기반 특징보다 더 정보가 많음을 확인했다.
• 댓글 전용 특징(CSF)을 추가하면 F-1 스코어가 0.687에서 0.700으로 상승하여, 수사적 및 감성 강도 신호를 포착하는 데의 가치를 입증했다.
• NaiveContextExtraction보다 성능이 뛰어나 F-1 = 0.491를 기록하며 정확한 문맥 추출의 중요성을 보여주었다.
• 모델는 암시적 감성(풍자, 반어법 등)에 대해 뛰어난 성능을 보이며, 전통적 모델이 실패하는 경우에도 안정적인 성능을 유지함으로써 내재된 감성에 대한 강건성을 입증했다.