[論文レビュー] "Hinglish" Language -- Modeling a Messy Code-Mixed Language

Vivek Kumar Gupta|arXiv (Cornell University)|Dec 30, 2019

Hate Speech and Cyberbullying Detection参考文献 1被引用数 5

ひとこと要約

本稿では、Hinglish（ヒンディ語と英語の混在言語）のソーシャルメディア投稿を、攻撃的、嫌がらせ誘発的、非攻撃的の3カテゴリに分類するための双方向LSTMモデルを提案する。合成テキストに対して語彙置換、ランダム挿入、スワップ、削除のテキスト拡張手法を適用することで、先行するハイブリッドCNN-LSTMアプローチを上回る最先端の性能を達成し、嫌がらせ発言検出では77%の再現率、攻撃的コンテンツ検出では92%の適合率を達成した。

ABSTRACT

With a sharp rise in fluency and users of "Hinglish" in linguistically diverse country, India, it has increasingly become important to analyze social content written in this language in platforms such as Twitter, Reddit, Facebook. This project focuses on using deep learning techniques to tackle a classification problem in categorizing social content written in Hindi-English into Abusive, Hate-Inducing and Not offensive categories. We utilize bi-directional sequence models with easy text augmentation techniques such as synonym replacement, random insertion, random swap, and random deletion to produce a state of the art classifier that outperforms the previous work done on analyzing this dataset.

研究の動機と目的

• インドのソーシャルメディアで広く使われる、ヒンディ語と英語を混在させる言語（Hinglish）における攻撃的および嫌がらせ誘発的コンテンツの分類課題に対処すること。
• 小規模で不均衡なデータセットの限界を克服するため、合成テキストデータに対してデータ拡張技術を適用すること。
• ノイズが多く、言語的多様性が著しいHinglishテキストにおける長期依存関係を捉えることができるディープラーニングモデルの開発。
• HEOTデータセット上で、先行する最先端のハイブリッドCNN-LSTMモデルを上回る分類性能を実現すること。

提案手法

• Hinglishテキスト内の順序的依存関係をモデル化するため、双方向LSTMネットワークを採用し、前向きおよび後向きの文脈を両方把握した。
• トレーニングデータの多様性と規模を向上させるために、語彙置換、ランダム挿入、ランダムスワップ、ランダム削除の4つのテキスト拡張手法を適用した。
• Hinglishデータセット上で微調整された100次元の事前学習済みGloVe単語埋め込みを用い、表現学習の質を向上させた。
• 過学習を抑制しつつ性能をバランスさせるために、学習率（0.01）、シーケンス長（200）、32個の双方向LSTMユニットといったハイパーパrameterを最適化した。
• 事前学習済みGloVe重みで初期化した埋め込みを用い、Hinglishデータ上で微調整することで、トランスファーラーニングを実装した。
• モデル化の前処理として、URL、ユーザーネーム、ハッシュタグ、標点、ストップワードを除去することで、ノイズを低減した。

実験結果

リサーチクエスチョン

• RQ1 低リソースでコードミックスされたHinglishテキスト分類において、データ拡張技術はディープラーニングモデルの性能向上に寄与するか？
• RQ2 GRU、LSTM、双方向LSTMといった異なるシーケンスモデリングアーキテクチャは、Hinglishにおける攻撃的および嫌がらせ発言分類において、どのように比較されるか？
• RQ3 Hinglishデータ上で事前学習済み単語埋め込み（例：GloVe）を微調整することで、固定埋め込みと比較して分類精度がどの程度向上するか？
• RQ4 限られたラベル付きデータがある状況下で、英語データセットからのトランスファーラーニングは、Hinglishにおける攻撃的言語検出性能を向上させるか？
• RQ5 現在のモデルがHinglishにおける嫌がらせ発言検出において抱える主な限界は何か？ それらはどのように是正できるか？

主な発見

• 32ユニットの双方向LSTMと0.2の再帰的ドロップアウトを用いたモデルが、嫌がらせ発言検出で77%の最高再現率を達成し、他のRNNバージョンを上回った。
• GRUベースのモデルが、攻撃的コンテンツ分類において最高の適合率（92%）を記録し、誤検出（偽陽性）の低減に優れた性能を示した。
• データ拡張を適用したモデルは、先行する最先端のハイブリッドCNN-LSTMモデルを上回り、低リソース環境下での合成データの有効性を実証した。
• 事前学習済みGloVe埋め込みをHinglishデータ上で微調整することで、固定埋め込みよりも高い性能が得られ、ドメイン特化された表現学習の価値を示した。
• 非攻撃的および攻撃的カテゴリでは強い結果を示したが、嫌がらせ発言検出の再現率は80%未満にとどまり、一般化能力の向上が求められることを示した。
• 誤差分析の結果、モデルはレアなまたは著しく変化した言語的形態を処理しにくく、より大規模かつ多様なHinglishコーパスの整備が、より高い耐性を向上させる鍵であると示された。