[論文レビュー] Preparing Bengali-English Code-Mixed Corpus for Sentiment Analysis of Indian Languages

Soumil Mandal, Sainik Kumar Mahata+1 more|arXiv (Cornell University)|Mar 11, 2018

Sentiment Analysis and Opinion Mining参考文献 7被引用数 36

ひとこと要約

本論文は、分類器のハイブリッド手法と監視付きモデルを用いて自動的に言語およびセンチメントタグを付与する方法で構築された、感情分析のためのゴールドスタンダードなベンガル語-英語コードミックスコーパスを提示する。言語識別では81%の正確性、センチメント分類では80.97%の正確性を達成した。このコーパスは、高水準のアノテーター間整合性（センチメントのkappa = 0.94）を示すJSON形式で公開されており、アノテート済みデータ、語彙リスト、およびTwitter APIクエリ用のシードリストを含む。

ABSTRACT

Analysis of informative contents and sentiments of social users has been attempted quite intensively in the recent past. Most of the systems are usable only for monolingual data and fails or gives poor results when used on data with code-mixing property. To gather attention and encourage researchers to work on this crisis, we prepared gold standard Bengali-English code-mixed data with language and polarity tag for sentiment analysis purposes. In this paper, we discuss the systems we prepared to collect and filter raw Twitter data. In order to reduce manual work while annotation, hybrid systems combining rule based and supervised models were developed for both language and sentiment tagging. The final corpus was annotated by a group of annotators following a few guidelines. The gold standard corpus thus obtained has impressive inter-annotator agreement obtained in terms of Kappa values. Various metrics like Code-Mixed Index (CMI), Code-Mixed Factor (CF) along with various aspects (language and emotion) also qualitatively polled the code-mixed and sentiment properties of the corpus.

研究の動機と目的

• インドの言語、特にベンガル語-英語のコードミックスコーパスが、感情分析分野において高品質で公開可能なものが不足しているという問題に対処すること。
• ルールベースと監視付きモデルを組み合わせたハイブリッドシステムを用いて、言語およびセンチメントタグ付けのための手作業アノテーション作業を削減すること。
• 高品質なコードミックスTwitterデータの収集およびフィルタリングに適した信頼性が高くスケーラブルなパイプラインの構築。
• 今後のコードミックスインド言語におけるNLPシステムのベンチマークに使用可能な、高水準のアノテーター間整合性を有するゴールドスタンダードデータセットの確立。
• 言語タグ、センチメント極性、および語彙リソースを含む、構造的かつ機械可読なJSON形式のコーパスを公開すること。

提案手法

• ベンガル語-英語のコードミックスコンテンツを取得するために、1,500語のシードリストを用いたTwitterの原始的データ収集。
• アノテーションの前段階でデータ品質を向上させ、ノイズを低減するためのフィルタリングパイプラインを実装。
• 文字n-gram、語彙マッチング、監視付き分類器を組み合わせたハイブリッド言語識別システムを構築し、81%の正確性を達成。
• ルールベースの極性語彙（1,200語のフレーズ、3,000語の単語）と監視付き学習（SGDC）を統合したセンチメント分類モデルを構築し、80.97%の正確性を達成。
• 標準化されたガイドラインに従って訓練済みのアノテーターが最終コーパスをアノテートし、言語タグ付けでkappa = 0.83、センチメントタグ付けでkappa = 0.94という高いアノテーター間整合性を確保。
• 階層的データ表現と効率的な処理を可能にするために、JSON形式でデータセットを公開。

実験結果

リサーチクエスチョン

• RQ1 NLPタスクに適した高品質なコードミックスベンガル語-英語ソーシャルメディアデータを、どのように効率的に収集・フィルタリングできるか？
• RQ2 混合スクリプトと文法を有するコードミックステキストにおいて、正確かつスケーラブルな言語識別を実現するハイブリッドアプローチとは何か？
• RQ3 ルールベース語彙と監視付きモデルの組み合わせにより、コードミックスインド言語テキストにおけるセンチメント分類の正確性を向上させられるか？
• RQ4 ベンガル語-英語のコードミックスコーパスにおける言語およびセンチメントタグ付けのアノテーター間整合性はどの程度か？
• RQ5 コードミックスデータにおいて、コードミックスインデックス、絵文字の使用、語の頻度といった言語的特徴は、センチメントとどのように相関するか？

主な発見

• 言語タグ付けシステムは、最終的なゴールドスタンダードデータにおいて81%の正確性を達成し、混合言語セグメントを識別する上で堅牢であることが示された。
• センチメント分類システムは80.97%の正確性と81.2%のF1スコアを達成し、コードミックスデータにおいてモノリンガルモデルを顕著に上回った。
• アノテーター間整合性は高く、言語タグ付けでFleiss’ Kappa = 0.83、センチメントタグ付けでkappa = 0.94であり、アノテーションの一貫性が強いことが示された。
• ユーザーはベンガル語の極性語よりも英語の極性語を多く使用しており、トレーニングデータでは英語で587件のポジティブ語、416件のネガティブ語が使用された一方、ベンガル語ではそれぞれ118件と757件であった。
• このコーパスには包括的な語彙リソースが含まれており、1,200語のフレーズ語彙、3,000語の発音表記ベンガル語単語語彙、および一般的に使用される絵文字のリストが含まれる。
• 最終的なデータセットはJSON形式で公開されており、言語タグとセンチメントラベルを備えた階層的かつアノテート済みデータの効率的かつ容易な保存・解析を可能にしている。