[論文レビュー] Cooking Is All About People: Comment Classification On Cookery Channels Using BERT and Classification Models (Malayalam-English Mix-Code)

Subramaniam Kazhuparambil, Abhishek Kaushik|arXiv (Cornell University)|Jun 15, 2020

Sentiment Analysis and Opinion Mining被引用数 8

ひとこと要約

本研究は、マラヤーラム語と英語の混合コードで構成される多言語YouTubeコメントの分類を目的として、従来の機械学習モデルと多言語トランスフォーマー・モデル（BERT、DistilBERT、XLM）を評価した。調理チャンネルのコメントを対象とした独自のデータセットを用いて、XLMが67.31%の最高精度を達成し、Random Forest（63.59%）を上回った。これは、計算コストが高いため低リソースな多言語テキスト分類においても、トランスフォーマー基盤のモデルの優位性を示している。

ABSTRACT

The scope of a lucrative career promoted by Google through its video distribution platform YouTube has attracted a large number of users to become content creators. An important aspect of this line of work is the feedback received in the form of comments which show how well the content is being received by the audience. However, volume of comments coupled with spam and limited tools for comment classification makes it virtually impossible for a creator to go through each and every comment and gather constructive feedback. Automatic classification of comments is a challenge even for established classification models, since comments are often of variable lengths riddled with slang, symbols and abbreviations. This is a greater challenge where comments are multilingual as the messages are often rife with the respective vernacular. In this work, we have evaluated top-performing classification models for classifying comments which are a mix of different combinations of English and Malayalam (only English, only Malayalam and Mix of English and Malayalam). The statistical analysis of results indicates that Multinomial Naive Bayes, K-Nearest Neighbors (KNN), Support Vector Machine (SVM), Random Forest and Decision Trees offer similar level of accuracy in comment classification. Further, we have also evaluated 3 multilingual transformer based language models (BERT, DISTILBERT and XLM) and compared their performance to the traditional machine learning classification techniques. XLM was the top-performing BERT model with an accuracy of 67.31. Random Forest with Term Frequency Vectorizer was the best performing model out of all the traditional classification models with an accuracy of 63.59.

研究の動機と目的

• 高頻度かつ多言語的・非公式なコンテンツであるため、YouTuberがコメントを手動で分析することの難しさに対処すること。
• 従来の機械学習モデルとトランスフォーマー基盤の言語モデルが、多言語（マラヤーラム語-英語）コメント分類においてどのように性能を発揮するかを評価すること。
• 調理チャンネルの視聴者フィードバックを分類するための最も効果的なモデル構成を特定すること。
• さまざまなモデルと特徴工学技術の間で、分類結果の統計的有意性と頑健性を評価すること。
• コンテンツ作成者が多言語YouTubeコメントから感情やフィードバックを自動で抽出できる実用的でスケーラブルなツールを提供すること。

提案手法

• マラヤーラム語調理チャンネルのYouTubeコメントから1,000件のデータセットを収集・整備し、感情の3クラス（ポジティブ、ネガティブ、ニュートラル）にラベル付けした。
• マラヤーラム語および英語用のカスタムストップワードリストを用いて前処理を行い、言語的複雑性のためマラヤーラム語語彙のステミングは実施しなかった。
• 4つのベクトル化手法（TF-IDF、カウントベクトルライザー、TfidfVectorizer、バイナリベクトルライザー）を用いて、従来モデルの特徴を抽出した。
• 5つの従来モデル（Multinomial Naïve Bayes、K-Nearest Neighbors（KNN）、Support Vector Machine（SVM）、Random Forest、Decision Trees）を訓練および評価した。
• 3つの多言語トランスフォーマー・モデル（BERT、DistilBERT、XLM）を、混合言語データセット上で微調整した。使用したバージョンは、すべて「uncased base」バージョンであった。
• すべてのモデルに対してハイパーパramータチューニングを実施し、性能差の統計的有意性を評価するためにFriedman検定を実施した。

実験結果

リサーチクエスチョン

• RQ1 マラヤーラム語-英語の混合コードで構成される多言語テキストデータの分類は、どの程度困難であるか？
• RQ2 異なる特徴工学技術と組み合わせた場合、どの従来の機械学習モデルが多言語コメント分類において最も優れた性能を発揮するか？
• RQ3 この多言語分類タスクにおいて、トランスフォーマー基盤のモデル（BERT、DistilBERT、XLM）は従来モデルに比べてどの程度の性能を示すか？
• RQ4 複数の分類モデル間で性能差が統計的に有意であるか？
• RQ5 複数のモデルを組み合わせたハイブリッドアプローチは、非公式で多言語的なYouTubeコメントの分類精度を向上させることができるか？

主な発見

• XLMが67.31%の最高全体精度を達成し、他のすべてのモデル（従来分類器を含む）を上回った。
• 従来モデルの中で最も優れた性能を示したのは、Term Frequency Vectorizerを用いたRandom Forestで、精度は63.59%であった。
• すべてのトランスフォーマー基盤モデルが一貫して従来モデルを上回り、XLM、DistilBERT、BERTは65%〜67%の範囲で精度を達成した。
• Friedman検定により、モデル間の性能差が統計的に有意であることが確認され、偶然の要因は排除された。
• 従来モデルは類似した性能を示しており、モデル選択自体が特徴工学やモデルアーキテクチャに比べて影響が小さいことが示された。
• 本研究は、トランスフォーマー・モデルはより正確である一方で、従来モデルに比べて著しく計算コストが高くなるというトレードオフを浮き彫りにした。