[논문 리뷰] Unsupervised Learning of Semantic Orientation from a Hundred-Billion-Word Corpus

Peter D. Turney, Michael L. Littman|ArXiv.org|2002. 12. 08.

Natural Language Processing Techniques참고 문헌 7인용 수 361

한 줄 요약

이 논문은 1,000억 단어 분량의 웹 코퍼스를 사용하여, 긍정 또는 부정 감성과 같은 의미적 기울기(semantic orientation)를 학습하는 비지도 학습 알고리즘을 제시한다. 검색 엔진을 쿼리하고 결과 패턴에 대해 점별 상호정보량(pointwise mutual information, PMI)을 적용함으로써, 3,596개의 다양한 어휘(형용사, 부사, 명사, 동사)에서 80%의 정확도를 달성하였으며, 수동 레이블링이 필요 없이 더 넓은 어휘 범위에서 이전의 지도 학습 방법을 능가한다.

ABSTRACT

The evaluative character of a word is called its semantic orientation. A positive semantic orientation implies desirability (e.g., "honest", "intrepid") and a negative semantic orientation implies undesirability (e.g., "disturbing", "superfluous"). This paper introduces a simple algorithm for unsupervised learning of semantic orientation from extremely large corpora. The method involves issuing queries to a Web search engine and using pointwise mutual information to analyse the results. The algorithm is empirically evaluated using a training corpus of approximately one hundred billion words -- the subset of the Web that is indexed by the chosen search engine. Tested with 3,596 words (1,614 positive and 1,982 negative), the algorithm attains an accuracy of 80%. The 3,596 test words include adjectives, adverbs, nouns, and verbs. The accuracy is comparable with the results achieved by Hatzivassiloglou and McKeown (1997), using a complex four-stage supervised learning algorithm that is restricted to determining the semantic orientation of adjectives.

연구 동기 및 목표

• 라벨이 없는 훈련 데이터를 사용하여도 가능한 확장 가능한 비지도 방법을 개발하는 것.
• 이전 연구가 주로 형용사에 국한되어 있음을 감안할 때, 명사, 동사, 부사 등 다른 어근형에도 의미적 기울기 탐지를 확장하는 것.
• 간단하고 효율적인 알고리즘을 사용하여 1000억 단어 분량의 웹 코퍼스에서 성능을 평가하는 것.
• 감성 분석에서 높은 정확도를 달성할 수 있으며, 지도 학습이나 복잡한 특징 공학 없이도 가능함을 보여주는 것.

제안 방법

• 해당 방법은 타겟 단어와 긍정 또는 부정 임베딩 단어(예: 'excellent' 또는 'awful')의 쌍을 검색 엔진에 쿼리하여 결과를 확보한다.
• 검색 결과에서의 공현 빈도를 기반으로 타겟 단어와 각 임베딩 단어 간의 점별 상호정보량(PMI)을 계산한다.
• 의미적 기울기는 PMI 점수의 부호와 크기를 기반으로 결정되며, 양수의 PMI는 긍정적 기울기를, 음수의 PMI는 부정적 기울기를 나타낸다.
• 다양한 임베딩 단어에 걸쳐 PMI 점수를 집계하여 노이즈를 줄이고 정확도를 향상시킨다.
• 이 방법은 수동 레이블링이나 언어학적 전처리가 필요 없이 오직 검색 엔진 쿼리 로그에 의존한다.
• 이 방법은 검색 엔진이 색인한 웹 콘텐츠에서 유래한 약 1000억 단어 분량의 코퍼스에 적용된다.

실험 결과

연구 질문

• RQ1 거대한 웹 코퍼스에서 비지도 방식으로 의미적 기울기를 정확하게 학습할 수 있는가?
• RQ2 이 방법은 형용사 외에도 명사, 동사, 부사와 같은 다른 어간형에도 일반화되는가?
• RQ3 풍부한 특징 공학과 레이블이 필요한 지도 학습 방법과 비교해 성능는 어떻게 되는가?
• RQ4 단지 검색 엔진 쿼리 결과만을 사용하여 점별 상호정보량이 감성 극성(Polarity)을 효과적으로 포착할 수 있는가?

주요 결과

• 3,596개의 단어(긍정어 1,614개, 부정어 1,982개 포함)로 구성된 테스트 세트에서 알고리즘이 80%의 정확도를 달성하였다.
• 이 방법은 형용사, 부사, 명사, 동사 등 다양한 어근형에서 의미적 기울기를 성공적으로 식별하였다.
• Hatzivassiloglou와 McKeown(1997)이 개발한 복잡한 4단계 지도 학습 알고리즘과 유사한 성능을 보였으며, 이는 형용사에 국한된 연구였다는 점에서 뚜렷한 우월성을 보였다.
• 검색 엔진 결과에 PMI를 적용한 방식은 감성 분석에서 지도 학습의 강력한 대체 방법이 되었으며, 스케일이 가능하고 안정적이었다.
• 이 접근법은 오직 웹 스케일 쿼리 데이터만을 사용하여도 대규모 비지도 감성 학습이 가능하다는 점을 입증하였다.