[논문 리뷰] Classifying YouTube Comments Based on Sentiment and Type of Sentence

Rhitabrat Pokharel, Dixit Bhatta|arXiv (Cornell University)|2021. 10. 31.

Sentiment Analysis and Opinion Mining참고 문헌 20인용 수 6

한 줄 요약

이 논문은 통계적 특징 추출(문서 빈도 및 TF-IDF)과 지도 학습 모델을 융합한 하이브리드 접근 방식을 제안하여 유튜브 댓글을 여섯 가지 카테고리로 분류한다: 긍정, 부정, 의문문, 명령문, 수정 요청, 기타. 최고의 성능을 보인 모델인 TF-IDF를 사용한 로지스틱 회귀는 F1 점수 0.86과 교차 검증 점수 0.84를 기록하여 비공식적이고 노이즈가 많은 유튜브 댓글에 대한 효과적인 분류를 입증하며, 콘텐츠 제작자의 참여도 향상에 기여한다.

ABSTRACT

As a YouTube channel grows, each video can potentially collect enormous amounts of comments that provide direct feedback from the viewers. These comments are a major means of understanding viewer expectations and improving channel engagement. However, the comments only represent a general collection of user opinions about the channel and the content. Many comments are poorly constructed, trivial, and have improper spellings and grammatical errors. As a result, it is a tedious job to identify the comments that best interest the content creators. In this paper, we extract and classify the raw comments into different categories based on both sentiment and sentence types that will help YouTubers find relevant comments for growing their viewership. Existing studies have focused either on sentiment analysis (positive and negative) or classification of sub-types within the same sentence types (e.g., types of questions) on a text corpus. These have limited application on non-traditional text corpus like YouTube comments. We address this challenge of text extraction and classification from YouTube comments using well-known statistical measures and machine learning models. We evaluate each combination of statistical measure and the machine learning model using cross validation and $F_1$ scores. The results show that our approach that incorporates conventional methods performs well on the classification task, validating its potential in assisting content creators increase viewer engagement on their channel.

연구 동기 및 목표

• 행동 가능한 피드백을 확보하기 위해 대량의 노이즈가 많고 비공식적인 유튜브 댓글을 수작업으로 걸러내는 데 도전하는 데 목적을 두다.
• 댓글을 감성(긍정/부정)과 문장 유형(의문문, 명령문 등)으로 자동 분류함으로써 콘텐츠 제작자의 참여도를 향상시키는 데 목적을 두다.
• 이전 연구가 감성 또는 문장 유형을 별개로 다루는 데 한계가 있었던 점, 특히 전통적인 텍스트가 아닌 유튜브 댓글과 같은 비전통적 텍스트에 대해서는 이러한 한계를 극복하는 데 목적을 두다.
• 저자원, 노이즈가 많은 댓글 환경에서의 강력한 분류를 평가하고 비교하기 위해 다양한 기계 학습 모델과 특징 추출 기법을 평가하는 데 목적을 두다.

제안 방법

• 오타와 비공식어로 인한 노이즈를 줄이기 위해 철자 교정 및 정규화를 사용해 유튜브 댓글 데이터를 전처리한다.
• 두 가지 특징 추출 방법을 적용: 문서 빈도(df)와 TF-IDF를 사용해 텍스트 특징을 분류에 활용한다.
• 전처리된 데이터를 기반으로 다섯 가지 지도 학습 기반 기계 학습 모델(로지스틱 회귀, 선형 SVC, 다항 나이브 베이즈, 랜덤 포레스트, 결정 트리)을 훈련시킨다.
• 모델 성능 평가를 위해 5겹 교차 검증을 사용하고, 분류 정확도 평가의 주요 지표로 F1 점수를 사용한다.
• 모델 성능을 최대화하기 위해 그리드 서치와 하이퍼파rameter 최적화를 사용해 모델를 세밀하게 조정한다.
• 오분류된 예시를 분석하여 모호한 문장 구조나 드문 감성 키워드와 같은 근본 원인을 규명한다.

실험 결과

연구 질문

• RQ1 통계적 특징 추출과 지도 학습의 조합이 유튜브 댓글을 감성과 문장 유형 카테고리로 효과적으로 분류하는 데 성공할 수 있는가?
• RQ2 다양한 기계 학습 모델이 전통적인 텍스트 코퍼스와 비교해 비공식적이고 노이즈가 많은 유튜브 댓글을 분류할 때 어떻게 성능을 내는가?
• RQ3 특징 선택 방법(DF 대비 TF-IDF)이 다중 클래스 댓글 분류에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 전반적인 모델 성능이 높음에도 불구하고, 기타, 명령문, 부정 카테고리에서 분류 정확도가 낮은 이유는 무엇인가?
• RQ5 철자 교정과 데이터 전처리가 분류 파이프라인의 강건성에 어느 정도 기여하는가?

주요 결과

• TF-IDF를 사용한 로지스틱 회귀 모델이 가장 높은 F1 점수 0.86과 교차 검증 점수 0.84를 기록하여 다른 모델들을 압도했다.
• 결정 트리 분류기가 높은 차원의 특징 공간과 희소 데이터에서의 일반화 능력 부족으로 인해 가장 낮은 성능을 보였다(F1 점수: 0.81).
• 다양성과 모호성이 높은 문장 유형이 모두 '기타' 카테고리에 포함되어 있어 성능 저하가 발생했다.
• 명령문과 부정 댓글의 정확도가 떨어진 이유는 'please'(명령문)와 'why'(의문문)가 같은 문장에 동시에 존재하는 등 겹치는 언어적 신호 때문이었다.
• 훈련 데이터 크기가 증가할수록 성능이 향상되었으며, 이는 df 및 TF-IDF 특징 방법 모두에서 성능 그래프를 통해 확인할 수 있었다.
• 철자 교정이 성능에 미치는 영향은 극히 미미했으며(성능 변화 ≤0.01%), 이는 모델가 유튜브 댓글의 경미한 어휘 오류에 강건함을 시사한다.