[論文レビュー] Classifying YouTube Comments Based on Sentiment and Type of Sentence

Rhitabrat Pokharel, Dixit Bhatta|arXiv (Cornell University)|Oct 31, 2021

Sentiment Analysis and Opinion Mining参考文献 20被引用数 6

ひとこと要約

本稿では、統計的特徴抽出（文書頻度とTF-IDF）と教師あり機械学習モデルを組み合わせたハイブリッドアプローチを提案し、YouTubeのコメントを6つのカテゴリ（肯定的、否定的、疑問文、命令文、是正的、その他）に分類する。最も優れた性能を示したモデルは、TF-IDFを用いたロジスティック回帰で、F1スコアは0.86、交差検証スコアは0.84を達成し、不規則でノイズが多いYouTubeのコメントの分類が有効に行えることが示された。これにより、クリエイターのエンゲージメントが向上する。

ABSTRACT

As a YouTube channel grows, each video can potentially collect enormous amounts of comments that provide direct feedback from the viewers. These comments are a major means of understanding viewer expectations and improving channel engagement. However, the comments only represent a general collection of user opinions about the channel and the content. Many comments are poorly constructed, trivial, and have improper spellings and grammatical errors. As a result, it is a tedious job to identify the comments that best interest the content creators. In this paper, we extract and classify the raw comments into different categories based on both sentiment and sentence types that will help YouTubers find relevant comments for growing their viewership. Existing studies have focused either on sentiment analysis (positive and negative) or classification of sub-types within the same sentence types (e.g., types of questions) on a text corpus. These have limited application on non-traditional text corpus like YouTube comments. We address this challenge of text extraction and classification from YouTube comments using well-known statistical measures and machine learning models. We evaluate each combination of statistical measure and the machine learning model using cross validation and $F_1$ scores. The results show that our approach that incorporates conventional methods performs well on the classification task, validating its potential in assisting content creators increase viewer engagement on their channel.

研究の動機と目的

• 膨大な量のノイズが多く、非公式なYouTubeのコメントを手作業で選別するという課題に対処すること。
• コメントを感情（肯定的／否定的）と文型（疑問文、命令文など）に自動的に分類することで、クリエイターのエンゲージメントを向上させること。
• 従来の研究が感情や文型のいずれかに限定されていたのに対し、特にYouTubeのコメントのような非伝統的なテキストにおいて、両方を同時に扱う限界を乗り越えること。
• 低リソースでノイズの多いコメント環境における分類の強固さを評価・比較するため、複数の機械学習モデルと特徴抽出手法を検討すること。

提案手法

• スペルの誤りや非公式な言語由来のノイズを低減するため、スペル補正と正規化を用いてYouTubeのコメントデータを前処理する。
• 2つの特徴抽出手法を適用：文書頻度（df）とTF-IDFを用いて、分類のためのテキスト特徴を表現する。
• 前処理済みデータ上で、5つの教師あり機械学習モデル（ロジスティック回帰、線形SVC、多項式ナイーブベイズ、ランダムフォレスト、決定木）を訓練する。
• モデルの性能を評価するために5分割交差検証を実施し、分類精度を評価する主な指標としてF1スコアを用いる。
• グリッドサーチとハイパーパramータ最適化を用いて、YouTubeコメントデータセット上で性能を最大化するようモデルを微調整する。
• 誤分類例を分析し、曖昧な文構造やレアな感情キーワードが原因であると特定する。

実験結果

リサーチクエスチョン

• RQ1 統計的特徴抽出と教師あり学習の組み合わせが、YouTubeのコメントを感情と文型の両方のカテゴリに効果的に分類できるか。
• RQ2 異なる機械学習モデルは、従来のテキストコーパスとは対照的に、非公式でノイズの多いYouTubeのコメントに対してどのように性能を発揮するか。
• RQ3 特徴選択手法（df対TF-IDF）が、多クラスコメント分類におけるモデル性能に与える影響は何か。
• RQ4 全体的なモデル性能は高いにもかかわらず、なぜ「その他」、「命令文」、「否定的」のようなカテゴリでは分類精度が低くなるのか。
• RQ5 スペル補正とデータ前処理は、分類パイプラインのロバストネスをどの程度向上させるか。

主な発見

• ロジスティック回帰にTF-IDFを組み合わせたモデルが、最高のF1スコア0.86と交差検証スコア0.84を達成し、他のモデルを上回った。
• 決定木分類器は、高次元の特徴空間とスパースデータにおける一般化能力の低さが原因で、最も弱い性能（F1スコア：0.81）を示した。
• 「その他」カテゴリの性能が低下したのは、このラベルに含まれる文型の多様性と曖昧さが原因であった。
• 命令文と否定的コメントの不正確な分類は、同じ文に「please」（命令文）と「why」（疑問文）といった重複する言語的手がかりが存在するためだった。
• トレーニングデータ量の増加に伴い、dfおよびTF-IDFの両方の特徴手法において、性能プロットからモデルの精度が向上した。
• スペル補正は性能にほとんど影響を与えず（性能変化≤0.01%）、YouTubeのコメントにおける軽微な語彙的誤りに対してもモデルがロバストであることが示された。