[論文レビュー] Sentiment Analysis on Bangla and Romanized Bangla Text (BRBT) using Deep Recurrent models

Ahmed H. Yousef, Mohammad Ruhul Amin+2 more|arXiv (Cornell University)|Oct 2, 2016

Sentiment Analysis and Opinion Mining参考文献 20被引用数 40

ひとこと要約

本稿では、感情分析のための大規模で後処理済みかつマルチ検証済みのベンガル語およびローマ字表記ベンガル語テキスト（BRBT）データセットを提案する。深層再帰型モデル、特に長短期記憶（LSTM）ネットワークを、二値交差エントロピー損失関数および多値交差エントロピー損失関数を用いて評価し、交差検証および転移事前学習を組み合わせることで有望な結果を達成した。これにより、ベンガル語における将来の自然言語処理研究の再利用可能なベンチマークが確立された。

ABSTRACT

Sentiment Analysis (SA) is an action research area in the digital age. With rapid and constant growth of online social media sites and services, and the increasing amount of textual data such as - statuses, comments, reviews etc. available in them, application of automatic SA is on the rise. However, most of the research works on SA in natural language processing (NLP) are based on English language. Despite being the sixth most widely spoken language in the world, Bangla still does not have a large and standard dataset. Because of this, recent research works in Bangla have failed to produce results that can be both comparable to works done by others and reusable as stepping stones for future researchers to progress in this field. Therefore, we first tried to provide a textual dataset - that includes not just Bangla, but Romanized Bangla texts as well, is substantial, post-processed and multiple validated, ready to be used in SA experiments. We tested this dataset in Deep Recurrent model, specifically, Long Short Term Memory (LSTM), using two types of loss functions - binary crossentropy and categorical crossentropy, and also did some experimental pre-training by using data from one validation to pre-train the other and vice versa. Lastly, we documented the results along with some analysis on them, which were promising.

研究の動機と目的

• 2億人以上が話す言語としてのベンガル語における感情分析のための標準化され、大規模なデータセットの不足に対処すること。
• ネイティブのベンガル語およびローマ字表記ベンガル語テキストを含む、後処理済みかつマルチ検証済みのデータセットを構築すること。
• 複数の損失関数を用いて、特にLSTMを含む深層再帰型モデルの感情分類における性能を評価すること。
• 一つの検証セットで事前学習を行い、別のセットで性能を向上させるという転移学習の手法を検討し、モデルの汎化能力を向上させること。
• 将来のベンガル語感情分析研究のための再利用可能で比較可能なベンチマークを提供すること。

提案手法

• 著者らは、感情分析のための大規模で後処理済みかつマルチ検証済みのデータセットを構築し、ベンガル語およびローマ字表記ベンガル語テキストを含めた。
• 長短期記憶（LSTM）ネットワークを、シーケンスモデリングおよび感情分類のための主要な深層学習アーキテクチャとして採用した。
• LSTMモデルの学習と評価に、二値交差エントロピー損失関数と多値交差エントロピー損失関数の2種類の損失関数を用いた。
• 交差検証と実験的事前学習を実装し、モデルを一つのfoldのデータで事前学習し、別のfoldで微調整した。
• 入力の一貫性を確保するため、標準的な自然言語処理パイプライン（トークン化、埋め込み、シーケンスパディング）を用いてモデルを訓練および評価した。
• 標準的な分類指標を用いて性能を測定し、異なるデータ分割と訓練設定における結果を分析した。

実験結果

リサーチクエスチョン

• RQ1 ベンガル語およびローマ字表記ベンガル語テキストの大規模で後処理済みかつマルチ検証済みのデータセットは、感情分析モデルの信頼性と再利用可能性を向上させることができるか？
• RQ2 二値交差エントロピーと多値交差エントロピーという異なる損失関数は、BRBTにおけるLSTMベースの感情分類器の性能にどのように影響するか？
• RQ3 ベンガル語感情分析の文脈において、一つの検証foldで事前学習し、別のfoldで性能を向上させることは、どの程度の効果をもたらすか？
• RQ4 BRBTデータセットの異なるfold間での転移学習は、モデルの汎化能力と精度を向上させることができるか？
• RQ5 深層再帰型モデルを用いた場合、ベンガル語とローマ字表記ベンガル語の間で感情分類性能にどのような差が生じるか？

主な発見

• 提案されたBRBTデータセットは大規模で、後処理済みかつマルチ検証済みであり、信頼性の高い感情分析実験に適している。
• 二値交差エントロピー損失関数および多値交差エントロピー損失関数を用いて学習されたLSTMモデルは、BRBTデータセットで有望な性能を示した。
• 一つの検証foldで事前学習し、別のfoldで微調整することで、モデルの精度と汎化能力が明確に向上した。
• 結果から、ローマ字表記ベンガル語テキストが深層再帰型モデルを用いた感情分析で効果的に活用可能であることが示された。
• 本研究により、将来の研究に向けた再利用可能で比較可能なベンチマークが確立され、ベンガル語NLP分野における再現可能で比較可能な結果が可能になった。