[論文レビュー] BHAAV (भव) - A Text Corpus for Emotion Analysis from Hindi Stories

Yaman Kumar, Debanjan Mahata+4 more|arXiv (Cornell University)|Sep 22, 2019

Sentiment Analysis and Opinion Mining参考文献 44被引用数 10

ひとこと要約

この論文は、18のジャンルにまたがる230編のヒンディー短編小説から抽出した20,304文を含む、感情分析のための最初で最大のアノテート済みヒンディー語テキストコーパスであるBHAAVを紹介する。3名のヒンディー語ネイティブが、怒り、喜び、スリル、悲しみ、およびニュートラルの5つの感情カテゴリに分類してアノテートした。このコーパスは、感情分類器の強固な訓練を可能にし、ロジスティック回帰ではニュートラルクラスで78.5%のF1スコア、スリルクラスで62.1%のF1スコアを達成しており、インドの低リソース言語におけるNLPの分野でその有用性が顕著である。

ABSTRACT

The first and largest Hindi text corpus, named BHAAV (भाव), which means emotions in Hindi, for analyzing emotions that a writer expresses through his characters in a story, as perceived by a narrator/reader. The corpus consists of 20,304 sentences collected from 230 different short stories spanning across 18 genres such as प्रेरणादायक (Inspirational) and रहस्यमयी (Mystery). Each sentence has been annotated into one of the five emotion categories anger, joy, suspense, sad, and neutral) by three native Hindi speakers with at least ten years of formal education in Hindi.

研究の動機と目的

• ヒンディー語のような低リソースのインド語における大規模で高品質な感情アノテート済みリソースの不足に対処すること。
• ヒンディー語の物語における登場人物や物語的文脈を通じて表現される感情を捉える、公開可能で言語学的に豊富なコーパスを構築すること。
• 感情の動態を含む時系列順に整列されたデータセットを提供することで、計算言語学、テキスト音声変換システム、自動物語生成の研究を支援すること。
• 多様でジャンルを網羅するデータセット上で、ヒンディー語における感情分類のためのベースラインモデルを確立し、その性能を評価すること。
• 特にヒンディー語のような低リソース言語における感情アノテートの可能性と課題を、厳密で複数アノテーターによるプロセスを通じて探求すること。

提案手法

• インspiration、ミステリー、道徳的教訓、農村生活などの18のジャンルにまたがる230編のヒンディー語短編小説から、20,304文を収集した。
• 3名のヒンディー語ネイティブ（少なくとも10年間のヒンディー語教育経験を有する）が、怒り、喜び、スリル、悲しみ、ニュートラルの5つの感情カテゴリのうち1つを各文に割り当てた。
• アノテーター間の一貫性を確保するため、相互アノテーター整合性のチェックを実施し、合意が得られない場合は議論で差異を解消した。これにより、高品質なラベル付けが実現された。
• 物語の元の文の順序を保持することで、時系列的・物語的文脈の分析を可能にし、順序に依存するモデルの支援を可能にした。
• Bag-of-Wordsと文脈的埋め込み（例：BERTベースのモデル）を用いた、ロジスティック回帰やディープラーニングモデルを含む複数のベースライン分類器を訓練した。
• ロジスティック回帰を用いた特徴量の重要度分析により、各感情カテゴリの代表的なユニグラム指標を同定した。例えば、喜びには「खुश」（幸せ）、「हँस」（笑う）、「संगीत」（音楽）が強く関連していた。

実験結果

リサーチクエスチョン

• RQ1 物語テキストを用いて、ヒンディー語という低リソース言語向けに大規模で高品質な感情アノテート済みコーパスを構築することは可能か？
• RQ2 特にスリルのような繊細で文脈依存の感情に対して、ヒンディー語テキストにおける感情アノテートの主な課題は何か？
• RQ3 ヒンディー語の物語における異なる感情カテゴリは、言語的手がかりやジャンルごとの分布においてどのように異なるか？
• RQ4 このコーパスを用いて、ベースライン機械学習モデルがヒンディー語テキストにおける感情分類で高い性能を達成できる程度はどの程度か？
• RQ5 このコーパスは物語における感情の時間的変化の分析を可能にし、物語的感情ダイナミクスに関する何らかの知見を提供できるか？

主な発見

• BHAAVは、18のジャンルにまたがる230編の短編小説から抽出した20,304文を含む、最初で最大の公開可能なヒンディー語感情分析用コーパスである。
• ニュートラルクラスはベースラインモデルで最高のF1スコア78.5%を記録し、データセットにおける支配的性と分類の容易さを示している。
• スリルカテゴリはF1スコア62.1%で最低の性能を示しており、これは手がかりの繊細さと、スリリングな言語を特定するアノテーションの難易度が原因である可能性がある。
• 感情固有のユニグラム特徴量が同定された。例えば、「खुश」（幸せ）、「हँस」（笑う）、「संगीत」（音楽）は喜びの強力な指標であり、「रो」（泣く）と「आँसू」（涙）は悲しみのキーワードであった。
• 文の順序が保持されているため、このコーパスは時間的感情分析を可能にし、物語的シーケンスにおける感情の変化をモデル化できる。
• このデータセットは、特にオーディオブックや物語生成アプリケーション向けに感情的な抑揚を組み込んだテキスト音声変換システムの学習に強く有望である。