[논문 리뷰] Using Argument-based Features to Predict and Analyse Review Helpfulness

Haijing Liu, Yang Gao외 5명|arXiv (Cornell University)|2017. 07. 23.

Sentiment Analysis and Opinion Mining참고 문헌 18인용 수 5

한 줄 요약

이 논문은 도움이 되는 제품 리뷰 식별을 향상시키기 위해 논거 기반 특징—예를 들어 논거 문장 비율과 증거-결론 비율—을 제안한다. 110개의 호텔 리뷰에 대한 수작업으로 주석 처리된 논거를 바탕으로, 저자는 이러한 특징을 최신 기준 기반 모델과 조합했을 때 평균적으로 F1 점수를 11.01% 향상시킴을 보여주며, 논거 분석 관점에서 리뷰의 도움이 되는 정도를 파악하는 데 그 효과성과 상호 보완성을 입증한다.

ABSTRACT

We study the helpful product reviews identification problem in this paper. We observe that the evidence-conclusion discourse relations, also known as arguments, often appear in product reviews, and we hypothesise that some argument-based features, e.g. the percentage of argumentative sentences, the evidences-conclusions ratios, are good indicators of helpful reviews. To validate this hypothesis, we manually annotate arguments in 110 hotel reviews, and investigate the effectiveness of several combinations of argument-based features. Experiments suggest that, when being used together with the argument-based features, the state-of-the-art baseline features can enjoy a performance boost (in terms of F1) of 11.01\% in average.

연구 동기 및 목표

• 논거 기반 특징이 도움이 되는 제품 리뷰 식별에 기여하는지 조사하기.
• 논거 기반 특징 분석을 위한 황금 표준 데이터셋을 확보하기 위해 110개의 호텔 리뷰에 논거 구조를 수작업으로 주석 처리하기.
• 기존의 내재적 특징 및 외부 특징과 비교하여 논거 기반 특징의 효과성 평가하기.
• 가장 정보가 많은 논거 기반 특징을 분석함으로써 리뷰가 왜 도움이 되는지에 대한 해석적 통찰 제공하기.
• 미래의 스케일 가능한 도움이 되는 리뷰 탐지에 자동으로 추출된 논거를 활용할 잠재력 탐색하기.

제안 방법

• 주장 구성 요소 7개 카테고리(주요 주장, 주장, 전제, 암묵적 주장에 대한 전제 지원(PSIC), 배경, 권고, 비논거적)를 사용해 110개의 호텔 리뷰를 수작업으로 주석 처리.
• 세 가지 분류 수준에서 논거 기반 특징을 계산: 토큰 수준(예: 구성 요소 쌍 간 토큰 수 비율), 문자 수준(예: 문자 수 비율), 위치 수준(예: 구성 요소 순서 및 분포).
• 논거 기반 특징을 네 가지 최신 기준 기반 특징 세트(UGR, STR, GALC, INQUIRER)와 조합.
• F1 점수와 AUC를 사용해 성능 평가하며, 대응 t-검정을 통한 통계적 유의성 검증.
• 정보 획득 순위를 활용해 도움이 되는 리뷰 예측에 가장 효과적인 논거 기반 특징 식별.
• Fleiss의 카파를 사용해 평가자 간 일致도를 평가하여, 높은 수준의 주석 품질을 확인함(kappa > 0.6).

실험 결과

연구 질문

• RQ1 기존 최신 기준 기반 특징을 초월해 논거 기반 특징이 도움이 되는 리뷰 탐지 성능 향상에 기여할 수 있는가?
• RQ2 어떤 특정 논거 기반 특징이 도움이 되는 리뷰 식별에 가장 크게 기여하는가?
• RQ3 논거의 구조와 길이(예: 전제 수, 구성 요소 순서)는 리뷰의 도움이 되는 정도와 어떻게 관련이 있는가?
• RQ4 논거 기반 특징은 다른 내재적 또는 외부 특징이 포괄하지 못하는 정보를 얼마나 많이 제공하는가?
• RQ5 논거 특징의 분류 수준(토큰, 문자, 위치, 구성 요소 수준)이 예측 능력에 어떤 영향을 미치는가?

주요 결과

• 논거 기반 특징을 최신 기준 기반 모델과 조합했을 때 평균적으로 F1 점수는 11.01% 향상되었고, AUC는 10.40% 향상됨.
• 토큰 수준 및 문자 수준의 논거 기반 특징이 도움이 되는 리뷰 예측에 가장 기여하였으며, 각각 36%와 29%의 정보가 많은 특징을 차지함으로써, 리뷰 길이와 구조가 핵심 지표임을 시사함.
• 논거 구성 요소 간 토큰 수 및 문자 수 비율(예: 전제-주장 비율)이 가장 정보가 많았으며, 이는 균형 잡히고 세부적인 논거 구조가 도움이 되는 정도를 높임을 시사함.
• 위치 수준 특징은 논거 구성 요소의 순서와 흐름을 캡처하여 총 정보가 많은 특징의 25%를 차지함으로써, 논리적 구조가 인식되는 도움이 되는 정도에 기여하는 바가 크다는 점을 강조함.
• 구성 요소 수준 특징은 정보가 많은 특징의 총 10%에 불과하여, 더 세밀한 수준의 특징에 비해 더 낮은 분류 능력을 보임.
• 논거 기반 특징은 STR, GALC, INQUIRER와 비교해 단독으로 사용했을 때 성능이 뛰어나며, UGR를 제외하면 유사한 성능을 보였음(비록 UGR의 높은 차원성과 희소성 문제에도 불구하고).