[論文レビュー] An English-Hindi Code-Mixed Corpus: Stance Annotation and Baseline System

Sahil Swami, Ankush Khandelwal+3 more|arXiv (Cornell University)|May 30, 2018

Sentiment Analysis and Opinion Mining参考文献 7被引用数 13

ひとこと要約

本稿では、2016年インディア・デノテミゼーション政策に対するスタンスを対象とした、最初の英語・ヒンディー語混合のツイッターコーパスを提示する。手作業でラベル付けされたツイートが3,545件あり、文字n-gram、単語n-gram、スタンスを示すトークンを用いたベースラインスタンス検出システムを導入。RBFカーネルSVMを用いた10分割交差検証で58.7%の正解率を達成。低リソース多言語環境における混合言語スタンス検出の基盤的リソースである。

ABSTRACT

Social media has become one of the main channels for peo- ple to communicate and share their views with the society. We can often detect from these views whether the person is in favor, against or neu- tral towards a given topic. These opinions from social media are very useful for various companies. We present a new dataset that consists of 3545 English-Hindi code-mixed tweets with opinion towards Demoneti- sation that was implemented in India in 2016 which was followed by a large countrywide debate. We present a baseline supervised classification system for stance detection developed using the same dataset that uses various machine learning techniques to achieve an accuracy of 58.7% on 10-fold cross validation.

研究の動機と目的

• 高インパクトなソーシャルメディアイベントに関する、大規模かつ手作業でラベル付けされた英語・ヒンディー語混合コーパスを、スタンス検出用に構築すること。
• 特に英語・ヒンディー語混合言語向けの意見マイニングリソースの不足に対処すること。
• この新しいコーパスを用いて、複数の機械学習手法を用いたベースラインスタンス検出システムの開発と評価を行うこと。
• 今後の混合言語NLP研究、特に言語識別および多言語スタンス検出を可能にするための基盤を提供すること。
• 再現可能性およびさらなる開発を可能にするために、データセットとベースラインモデルをオープンソースで提供すること。

提案手法

• 2016年のデノテミゼーション政策を巡るツイートを収集する目的で、6か月間の期間にわたり、Twitter Scraper APIを用いてキーワード「notebandi」と「demonetisation」を含む英語・ヒンディー語混合ツイートを収集。収集対象は3,545件。
• ネイティブなヒンディー語・英語バイリンガルを用いて、各ツイートのスタンス（「FAVOR」、「AGAINST」、または「NONE」）を手作業でラベル付け。Cohenのカッパ係数は0.82を達成。
• トークンレベルでの言語ラベル付けを実施。各トークンを英語またはヒンディー語として手作業でタグ付けし、誤り訂正のための手作業レビューを実施。
• 3種類の特徴量を抽出：文字n-gram（n=1～3、頻度≥8）、単語n-gram（n=1～5、頻度≥10）、スタンスを示すトークン（スコア≥0.6、頻度≥5）。
• カイ二乗特徴選択を適用し、各クラスに対して最も関連性の高い500特徴量に特徴空間を縮小。
• 全特徴量を用いて、10分割交差検証を実施。RBFカーネルSVM、ランダムフォレスト、線形SVMの3つの分類器を評価。

実験結果

リサーチクエスチョン

• RQ1 英語・ヒンディー語混合のソーシャルメディアテキストにおけるスタンス検出において、ベースライン機械学習モデルの性能はいかがなものか？
• RQ2 文字n-gram、単語n-gram、スタンスを示すトークンといった、異なる特徴タイプが、個別および総合的にスタンス検出の正解率にどのように寄与するか？
• RQ3 新規に作成された手作業でラベル付けされた混合言語コーパスを用いて、教師ありスタンス検出システムを効果的に学習できるか？
• RQ4 アノテーター間整合性は、混合多言語テキストにおけるスタンスラベリングの信頼性をどのように反映しているか？
• RQ5 このコーパスは、言語識別やセンチメント分析を含む、混合言語NLPタスクの発展にどのような可能性を秘めているか？

主な発見

• RBFカーネルSVMは、3つの特徴タイプを組み合わせた場合に、最高の正解率58.7%を達成した。
• 文字n-gram、単語n-gram、スタンスを示すトークンの3つの個別特徴タイプは、正解率が54.6%～54.8%の間でほぼ同等の貢献を示した。
• ランダムフォレスト分類器は、全特徴量を用いた場合に54.7%の正解率を達成した。一方、線形SVMは同じ条件下で56.6%の正解率を記録した。
• スタンスラベリングにおけるアノテーター間整合性は、Cohenのカッパ係数=0.82という高い水準であり、ラベル付けの一貫性が強く裏付けられた。
• データセットとベースラインシステムはGitHub上で公開されており、再現可能性および混合言語NLP分野におけるさらなる開発を可能にしている。
• 本研究は、特に英語・ヒンディー語のような低リソース言語ペアを対象とした、インドの混合言語ソーシャルメディアにおけるスタンス検出の基盤的ベンチマークを確立した。