[논문 리뷰] Sentiment Analysis in the News

Alexandra Balahur, Ralf Steinberger외 1명|arXiv (Cornell University)|2013. 09. 24.

Sentiment Analysis and Opinion Mining참고 문헌 14인용 수 210

한 줄 요약

이 논문은 명시된 실체에 대한 감성과 그 뒤에 있는 뉴스 콘텐츠(좋은 뉴스/나쁜 뉴스)의 감성을 구분함으로써 뉴스 기사에 대한 타겟 감성 분석 접근법을 제안한다. 이는 명시된 실체 주변의 윈도우 기반 분석과 감성 어휘에서 도메인 특화 경고어를 필터링하는 방식을 사용한다. 주요 기여는 특히 뉴스 분류 목록에서 온 도메인 전용 어휘를 제외함으로써 성능이 크게 향상되며, 6단어 윈도우와 병합된 JRC Tonality 및 MicroWN 어휘를 사용할 경우 최고의 정확도 82%를 달성한다는 것이다.

ABSTRACT

Recent years have brought a significant growth in the volume of research in sentiment analysis, mostly on highly subjective text types (movie or product reviews). The main difference these texts have with news articles is that their target is clearly defined and unique across the text. Following different annotation efforts and the analysis of the issues encountered, we realised that news opinion mining is different from that of other text types. We identified three subtasks that need to be addressed: definition of the target; separation of the good and bad news content from the good and bad sentiment expressed on the target; and analysis of clearly marked opinion that is expressed explicitly, not needing interpretation or the use of world knowledge. Furthermore, we distinguish three different possible views on newspaper articles - author, reader and text, which have to be addressed differently at the time of analysing sentiment. Given these definitions, we present work on mining opinions about entities in English language news, in which (a) we test the relative suitability of various sentiment dictionaries and (b) we attempt to separate positive or negative opinion from good or bad news. In the experiments described here, we tested whether or not subject domain-defining vocabulary should be ignored. Results showed that this idea is more appropriate in the context of news opinion mining and that the approaches taking this into consideration produce a better performance.

연구 동기 및 목표

• 제품이나 영화 리뷰와는 본질적으로 다름으로써 간접적인 표현과 다중 타겟을 포함하는 뉴스에서 감성 분석의 과제를 다루기 위해.
• 감성의 대상이 실체인지 사실적인 뉴스 콘텐츠(좋은 뉴스 또는 나쁜 뉴스)인지 명확히 하여 작업을 정의하기 위해.
• 뉴스 맥락에서 감성 어휘에서 주제 도메인 특화 어휘(예: '위기', '재난')를 제거할 경우의 영향을 평가하기 위해.
• 전체 기사가 아닌 명시된 실체 주변의 작은 텍스트 윈도우에 집중함으로써 성능을 향상시키기 위해.
• 다양한 감성 어휘와 그 조합이 뉴스 감성 분류에 어떤 영향을 미치는지 탐색하기 위해.

제안 방법

• 이 방법은 뉴스 인용문 내의 명시된 실체 중심으로 고정 크기의 단어 윈도우(3, 6, 10)를 적용하여 감성 분석을 수행한다.
• 여러 감성 어휘를 평가한다: JRC Tonality, MicroWordNet, WordNet-Affect, SentiWordNet. 이들은 뉴스 카테고리에서 도메인 특화 경고어를 제거한 상태와 그렇지 않은 상태에서 모두 평가된다.
• 시스템은 EMM News 시스템의 카테고리 정의를 사용하여 주제 도메인 레이블(예: '위기', '쓰나미')에 속하는 단어를 감성 분석에서 제외한다.
• 성능 평가는 인용문의 감성 수동 주석을 기반으로 하며, 정확도는 정확하게 분류된 감성 어휘 조합의 비율로 측정된다.
• 이 방법은 '좋은' 또는 '나쁜' 뉴스를 사실적 콘텐츠로 간주하고, 감성은 실체를 향한 평가적 표현으로 간주함으로써 감성과 뉴스 콘텐츠를 분리한다.
• 오류 분석을 통해 중립적인 인용문에서 감성 단어가 없거나, 은유, 관용어, 공명 또는 다중 의견 대상으로 인한 잘못된 타겟 분류 등의 실패 원인을 규명한다.

실험 결과

연구 질문

• RQ1 감성 어휘에서 주제 도메인 특화 어휘를 제거하면 뉴스 기사의 감성 분류 정확도가 향상되는가?
• RQ2 실체 주변의 작은 텍스트 윈도우에 적용할 경우와 전체 기사에 적용할 경우 감성 분석 성능는 어떻게 달라지는가?
• RQ3 다양한 감성 어휘 조합 중에서 뉴스 감성 분류에서 가장 높은 정확도를 달성하는 조합은 무엇인가?
• RQ4 관용어 표현, 은유, 명시적인 감성 어휘의 부재는 뉴스 감성 분석에서 오분류를 유발하는 데 어느 정도 기여하는가?
• RQ5 저자, 독자, 텍스트의 다양한 시각이 뉴스에서 감성의 해석과 주석에 어떤 영향을 미치는가?

주요 결과

• 감성 어휘에서 도메인 특화 경고어를 제거함으로써 성능 향상이 뚜렷하게 이루어지며, 특히 JRC Tonality 및 MicroWN과 같은 어휘에서 두드러진다.
• 최고의 정확도 82%는 6단어 윈도우와 병합된 JRC Tonality 및 MicroWN 어휘를 사용할 경우 달성되었다.
• 전체 텍스트 감성 분석을 사용할 경우 성능이 저하되었으며, 이는 실체 주변 국소적 맥락이 전체 기사 수준의 감성보다 더 효과적이라는 것을 시사한다.
• 일부 어휘, 예를 들어 WordNet-Affect 및 SentiWordNet는 체계적인 과분류 경향(예: 부정 또는 긍정으로 과도하게 분류)을 보였다.
• 주요 오류 원인은 여전히 암시적인 의견을 표현하지만 감성 어휘가 없는 인용문이었다. 예를 들어 '우리는 X에게 충분한 시간을 줬다' 또는 ' Hornets' nest를 흔들었다' 같은 표현.
• 공명 해소 도구는 初기 테스트에서 시스템 성능을 떨어뜨렸으며, 이는 뉴스 감성 작업에서 공명 해소에 도전 과제가 있음을 시사한다.