[논문 리뷰] Attention-based Bidirectional LSTM for Deceptive Opinion Spam Classification

Ashish Salunkhe|arXiv (Cornell University)|2021. 12. 29.

Spam and Phishing Detection인용 수 8

한 줄 요약

이 논문은 사전에 트레이닝된 GLoVe 임베딩과 주목적 기반 메커니즘을 활용하여 의미적 이해를 향상시키기 위해 위험성 있는 의견 스팸을 분류하기 위해 주목적 기반 양방향 LSTM 모델을 제안한다. 이 방법은 탈법적 의견 스팸 코퍼스에서 테스트 정확도 90.25%를 달성하여 기존의 기계학습 모델과 다른 딥러닝 아키텍처를 능가한다.

ABSTRACT

Online Reviews play a vital role in e commerce for decision making. Much of the population makes the decision of which places, restaurant to visit, what to buy and from where to buy based on the reviews posted on the respective platforms. A fraudulent review or opinion spam is categorized as an untruthful or deceptive review. Positive reviews of a product or a restaurant helps attract customers and thereby lead to an increase in sales whereas negative reviews may hamper the progress of a restaurant or sales of a product and thereby lead to defamed reputation and loss. Fraudulent reviews are deliberately posted on various online review platforms to trick customers to buy, visit or distract against a product or a restaurant. They are also written to commend or discredit the product's repute. The work aims at detecting and classifying the reviews as deceptive or truthful. It involves use of various deep learning techniques for classifying the reviews and an overview of proposed approach involving Attention based Bidirectional LSTM to tackle issues related to semantic information in reviews and a comparative study over baseline machine learning techniques for review classification.

연구 동기 및 목표

• 소비자를 오도하고 기업의 명성을 해칠 수 있는 탈법적 온라인 리뷰를 탐지하는 데 도전하는 것.
• 리뷰 텍스트의 순차적이고 문맥적인 의미 패턴을 포착하는 딥러닝 모델을 활용하여 분류 성능을 향상시키는 것.
• 탈법적 리뷰와 진실된 리뷰의 균형 잡힌 데이터셋을 사용하여 데이터 불균형 문제를 완화하고 모델의 일반화 능력을 향상시키는 것.
• 주목적 기반 메커니즘이 탈법적임을 시사하는 핵심 어휘 및 어구를 강조하는 데 얼마나 효과적인지 평가하는 것.
• 기존의 기계학습 및 다른 딥러닝 아키텍처와 비교하여 제안된 모델의 성능을 평가하는 것.

제안 방법

• 리뷰 텍스트의 순차적 의존성을 모델링하기 위해 양방향 장기 단기 기억망(BiLSTM)을 사용하여 전방 및 후방 문맥을 모두 포착한다.
• 다양한 단어와 은닉 상태의 중요도를 동적으로 가중치를 매기기 위해 주목적 기반 메커니즘을 통합하여 탈법적 언어적 신호에 집중한다.
• 밀도 있는 벡터 공간에서 단어를 표현하기 위해 사전에 트레이닝된 GLoVe 단어 임베딩(50D 및 100D)을 사용하여 의미 표현을 향상시킨다.
• 텍스트 품질 향상을 위해 토큰화, 불용어 제거, 소문자 변환 등의 표준 기법을 사용하여 전처리를 수행한다.
• 1600개의 호텔 리뷰로 구성된 균형 잡힌 데이터셋을 사용하여 감독 학습 방식으로 모델을 학습하며, 레이블은 탈법적 또는 진실된 감성을 나타낸다.
• 보류된 테스트 세트에서 정확도, 정밀도, 재현율, F1 점수 등의 표준 NLP 메트릭을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 주목적 기반 양방향 LSTM 모델은 온라인 리뷰에서 탈법적 의견 스팸과 진실된 의견 스팸을 효과적으로 구분할 수 있는가?
• RQ2 표준 BiLSTM에 비해 주목적 기반 메커니즘이 탈법적 언어 패턴을 식별하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ3 동일한 벤치마크 데이터셋에서 기존의 기계학습 모델인 다항식 나이브 베이즈와 서포트 벡터 머신(SVM)에 비해 제안된 모델의 성능은 어떠한가?
• RQ4 사전에 트레이닝된 단어 임베딩(GloVe 등)이 의견 스팸 탐지에서 분류 정확도를 얼마나 향상시키는가?
• RQ5 Deceptive Opinion Spam Corpus에서 다른 딥러닝 아키텍처인 CNN-LSTM 및 주목적 기반 모델과 비교해 볼 때 모델의 성능은 어떠한가?

주요 결과

• 100D GLoVe 임베딩을 사용한 주목적 기반 BiLSTM 모델은 테스트 정확도 90.25%를 달성하여 대부분의 베이스라인 모델과 다른 딥러닝 아키텍처를 능가했다.
• 모델은 테스트 세트에서 F1 점수 90.25%를 기록하여 탈법적 리뷰 탐지에서 정밀도와 재현율 사이의 균형이 잘 잡혀 있음을 보여주었다.
• 시험된 모든 딥러닝 모델 중에서 주목적 기반 BiLSTM는 검증 정확도(99.18%)와 테스트 정확도(90.25%)가 가장 높았으며, CNN+LSTM 및 표준 BiLSTM 모델을 모두 능가했다.
• 기존의 모델인 다항식 나이브 베이즈와 로지스틱 회귀는 각각 테스트 정확도 84.5%와 79.75%를 기록하여 주목적 기반 딥러닝의 우수성을 확인했다.
• 제거 실험 결과, 리뷰 중심의 특징(예: n-그램 및 문자 수준의 TF-IDF 벡터)은 경쟁력 있는 성능를 보였지만, 주목적 기반 딥뉴럴 네트워크에 비해 열등했다.
• 주목적 가중치의 시각화 결과, 모델이 탈법적 어구와 감성 이상 현상을 효과적으로 강조함으로써 그 해석 가능성과 관련 언어적 신호에 대한 집중도를 검증했다.