[논문 리뷰] Words are not Equal: Graded Weighting Model for building Composite Document Vectors

Pranjal Kumar Singh, Amitabha Mukerjee|arXiv (Cornell University)|2015. 12. 11.

Sentiment Analysis and Opinion Mining참고 문헌 32인용 수 11

한 줄 요약

이 논문은 tf-idf 및 기타 계량적 방법을 사용하여 단어의 분류적 유의성에 기반해 단어 벡터에 가중치를 할당함으로써 모든 단어를 동일하게 취급하거나 불용어를 이진 결정으로 제거하는 것과 같은 기존 모델의 한계를 해결하는 계량적 가중치 모델, 복합 문서 벡터(Composite Document Vectors, CDV)를 제안한다. 이 방법은 IMDB 및 아마존 리뷰 데이터셋에서 각각 94.19% 및 92.17%의 정확도로 최신 기준 성능을 달성했으며, 히ند리어 리뷰에서는 12% 향상을 보이며 자원이 적고 형태소가 풍부한 언어에서도 효과를 입증했다. 이는 파arsing이나 복잡한 전처리를 필요로 하지 않는 언어에 관계없이 적용 가능한 비지도 학습 기반의 방법이다.

ABSTRACT

Despite the success of distributional semantics, composing phrases from word vectors remains an important challenge. Several methods have been tried for benchmark tasks such as sentiment classification, including word vector averaging, matrix-vector approaches based on parsing, and on-the-fly learning of paragraph vectors. Most models usually omit stop words from the composition. Instead of such an yes-no decision, we consider several graded schemes where words are weighted according to their discriminatory relevance with respect to its use in the document (e.g., idf). Some of these methods (particularly tf-idf) are seen to result in a significant improvement in performance over prior state of the art. Further, combining such approaches into an ensemble based on alternate classifiers such as the RNN model, results in an 1.6% performance improvement on the standard IMDB movie review dataset, and a 7.01% improvement on Amazon product reviews. Since these are language free models and can be obtained in an unsupervised manner, they are of interest also for under-resourced languages such as Hindi as well and many more languages. We demonstrate the language free aspects by showing a gain of 12% for two review datasets over earlier results, and also release a new larger dataset for future testing (Singh,2015).

연구 동기 및 목표

• 기존 문서 조합 모델이 모든 단어를 동일하게 취급하거나 불용어를 양자결정 기반으로 제거함으로써 성능 저하가 발생할 수 있는 문제를 해결하기 위해.
• tf-idf, 코사인 기반 가중치, 분산 기반 필터링과 같은 계량적 가중치 기법을 활용해 문서 수준의 표현에서 단어 벡터에 가중치를 적용하는 것을 탐색하기 위해.
• 자원이 적고 형태소가 풍부한 언어인 히нд리어와 같이 이전 모델이 성능을 내지 못하는 분위기 분류 성능을 향상시키기 위해.
• 파arsing이나 복잡한 전처리를 필요로 하지 않는 언어에 관계없이 적용 가능한 비지도 학습 기법을 개발하여 더 넓은 적용 범위를 확보하기 위해.
• 복합 문서 벡터에 의해 가중된 단어 기여도가 기존 모델, 예를 들어 파aragraph vectors 및 RNNLMs를 초월하는가를 입증하기 위해.

제안 방법

• 모델은 각 단어의 문서 내 분류적 중요도를 반영하기 위해 tf-idf 점수에서 유도된 가중치를 사용하여 단어 벡터의 가중 평균을 계산함으로써 문서 벡터를 구성한다.
• 이 방법은 단어 수준의 벡터 의미와 문서 수준의 맥락을 계량적 가중치를 통해 통합하는 복합 문서 벡터(CDV) 표현을 도입함으로써 이진 불용어 필터링을 피한다.
• RNNLM(순환 신경망 언어 모델)과 CDV를 앙상블하여 통계적 모델링과 순차적 모델링의 강점을 모두 활용한다.
• 특히 대규모 어휘 설정에서 반복적인 고빈도 특징으로 인한 노이즈를 줄이기 위해 특징 분산 감소 기법을 적용한다.
• 이 방법은 비지도 학습이며 언어에 관계없이 적용 가능하며, 원시 텍스트와 사전 학습된 단어 벡터만을 기반으로 하므로 히нд리어와 같은 자원이 적은 언어에 적용 가능하다.
• 정확도를 주요 평가 지표로 사용하여 IMDB(영어), 아마존 전자제품 리뷰(영어), IITB 히нд리어 영화 리뷰 세 가지 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 tf-idf와 같은 계량적 가중치 기법을 사용해 단어 벡터에 가중치를 할당하면, 균일 평균 또는 불용어 제거와 비교해 문서 표현 및 감성 분류 정확도를 향상시킬 수 있는가?
• RQ2 복합 문서 벡터(CDV) 모델이 Paragraph Vectors 및 RNNLMs와 같은 최신 기준 모델보다 표준 벤치마크 데이터셋에서 우수한 성능을 보일 수 있는가?
• RQ3 언어에 관계없이 적용 가능한 비지도 문서 조합 기법이 자원이 적고 강한 형태소 변화가 일어나는 언어인 히нд리어에서 얼마나 높은 성능 향상을 이룰 수 있는가?
• RQ4 CDV와 RNNLM 앙상블의 통합이 개별 모델보다 성능 향상을 어떻게 높이는가?
• RQ5 고빈도이지만 분류적 유의성이 낮은 단어(예: 불용어)에서 기인하는 노이즈가 문서 벡터 품질에 어떤 영향을 미치며, 분산 기반 필터링이 이를 완화할 수 있는가?

주요 결과

• 복합 문서 벡터(CDV) 모델은 IMDB 데이터셋에서 93.91%의 정확도를 기록하여 이전 최신 기준인 92.58%를 초월했다.
• 아마존 전자제품 리뷰에서는 CDV 모델이 92.17%의 정확도를 기록하여 이전 최고 성능인 85.90%를 크게 상회했다.
• 히нд리어 영화 리뷰에서는 CDV 모델이 90.30%의 정확도를 기록하여 이전 결과보다 12% 향상되었고, 이전 최고 성능 방법보다 10.1% 향상되었다.
• CDV와 RNNLM의 앙상블은 IMDB에서 94.19%의 정확도를 기록하여 이전 최신 기준보다 1.6% 향상되었다.
• 자원이 적은 환경에서도 안정적인 성능을 보였으며, 히нд리어 리뷰에서의 12% 향상은 이전 모델이 언어적 자원 부족으로 어려움을 겪던 분야에서의 효과성을 입증했다.
• 균일 평균 또는 이진 필터링보다 계량적 가중치(예: tf-idf)가 더 효과적임을 확인하기 위해 평균 벡터 및 가중 평균 벡터 모델과의 비교 결과, CDV 모델이 우월함을 입증했다.