[論文レビュー] DravidianMultiModality: A Dataset for Multi-modal Sentiment Analysis in Tamil and Malayalam

Bharathi Raja Chakravarthi, Jishnu Parameswaran P. K+6 more|arXiv (Cornell University)|Jun 9, 2021

Sentiment Analysis and Opinion Mining参考文献 16被引用数 8

ひとこと要約

本論文では、タミル語およびマラヤーラム語のための、最初のマルチモーダル感情分析データセット「DravidianMultiModality」を紹介する。このデータセットは、134本のYouTubeレビュー動画を含み、ボランティアのアノテーターが手作業で文字起こししたテキスト、キャプション、および感情ラベル（肯定的、否定的、ニュートラル）を備えている。このデータセットは、動画、音声、テキストの3モダリティを統合することでマルチモーダル感情分析を可能にし、FleissのKappaを用いたアノテーター間整合性の検証により、低リソースのドラヴィダ語NLP研究の基盤となるものである。

ABSTRACT

Human communication is inherently multimodal and asynchronous. Analyzing human emotions and sentiment is an emerging field of artificial intelligence. We are witnessing an increasing amount of multimodal content in local languages on social media about products and other topics. However, there are not many multimodal resources available for under-resourced Dravidian languages. Our study aims to create a multimodal sentiment analysis dataset for the under-resourced Tamil and Malayalam languages. First, we downloaded product or movies review videos from YouTube for Tamil and Malayalam. Next, we created captions for the videos with the help of annotators. Then we labelled the videos for sentiment, and verified the inter-annotator agreement using Fleiss's Kappa. This is the first multimodal sentiment analysis dataset for Tamil and Malayalam by volunteer annotators.

研究の動機と目的

• 低リソースのドラヴィダ語（タミル語やマラヤーラム語など）におけるマルチモーダル感情分析リソースの不足に対処すること。
• 学術的および産業的共同研究を促進するため、公開可能で高品質なデータセットを提供し、動画、テキスト、感情ラベルを統合すること。
• 視覚的、言語的、音声的特徴を統合することで、地方言語における正確な感情予測を実現するマルチモーダル感情分析モデルの開発を支援すること。
• ドラヴィダ語コミュニティにおけるマルチモーダル感情分析分野の今後の研究のベンチマークを確立すること。
• 低リソース言語環境において、複数のモダリティからの補完的信号を活用することで、感情分析の精度を向上させること。

提案手法

• 製品レビューおよび映画レビューに焦点を当て、マラヤーラム語で70本、タミル語で64本の合計134本のYouTubeレビュー動画を収集した。
• 視覚的および音声的モダリティと一致するように、各動画のテキスト内容を正確に反映する手作業による文字起こしとキャプション作成を実施した。
• 標準化されたアノテーションプロトコルに従い、ボランティアのアノテーターが各動画の感情を「肯定的」「否定的」「ニュートラル」のいずれかにラベル付けした。
• アノテーター間整合性の信頼性とデータセットの品質を保証するため、FleissのKappaを用いて整合性を計算した。
• 再現可能性とアクセス可能性を高めるために、動画ID、YouTube URL、言語、感情ラベルを含むメタデータを構造化した。
• 学術的および産業的共同研究を促進するため、GitHubおよびZenodoに公開してオープンアクセスを確保した。

実験結果

リサーチクエスチョン

• RQ1 低リソースのドラヴィダ語（タミル語やマラヤーラム語など）におけるマルチモーダル感情分析データセットの作成の可能性と品質はいかがなものか？
• RQ2 低リソース言語の動画コンテンツに対して、ボランティアアノテーターが生成する感情ラベルの信頼性はどの程度か？
• RQ3 テキスト、音声、動画といったマルチモーダル信号は、タミル語およびマラヤーラム語における感情分類性能をどの程度向上できるか？
• RQ4 低リソース言語環境において、マルチモーダルデータの収集とアノテーションにどのような課題が生じるか？
• RQ5 公開可能なコミュニティアノテートデータセットは、ドラヴィダ語における今後のマルチモーダルNLP研究の基盤として機能できるか？

主な発見

• DravidianMultiModalityデータセットには134本の動画が含まれており、そのうち70本がマラヤーラム語、64本がタミル語である。各動画は感情ラベルと文字起こしテキストでアノテートされている。
• FleissのKappaを用いたアノテーター間整合性の測定により、アノテーター間で一貫性があり信頼できる感情ラベル付けがなされていることが確認された。
• このデータセットは、タミル語およびマラヤーラム語における、公開済みの最初のマルチモーダル感情分析リソースであり、低リソース言語NLP分野における重要な空白を埋めている。
• 動画URL、文字起こし、感情ラベルを含むすべてのデータは、GitHubおよびZenodoを通じて研究利用のために公開されている。
• このデータセットは、低リソースのドラヴィダ語における視覚的、言語的、音声的モダリティを用いた今後のマルチモーダル感情分析研究を可能にする。
• 本研究は、低リソース言語のマルチモーダルNLPタスクにおいて、コミュニティ主導のデータ収集の実現可能性を示している。