[論文レビュー] A Fine-Grained Sentiment Dataset for Norwegian

Lilja Øvrelid, Petter Mæhlum+2 more|arXiv (Cornell University)|Nov 28, 2019

Sentiment Analysis and Opinion Mining参考文献 37被引用数 24

ひとこと要約

この論文は、多様なレビュー分野をカバーするノルウェー語の最初の詳細なセンチメントデータセットである NoReC${}_{\text{fine}}$ を紹介する。このデータセットは、極性表現、ターゲット、ホールダー、および極性強度を含む。アノテーションガイドライン、アノテーター間整合性統計、およびベースラインニューラルモデルを提示しており、ホールダー分類では42.4 F1（比例基準）、極性表現分類では61.5 F1（二値基準）の成績を示し、ノルウェー語センチメント分析のベンチマークを確立した。

ABSTRACT

We introduce NoReC_fine, a dataset for fine-grained sentiment analysis in Norwegian, annotated with respect to polar expressions, targets and holders of opinion. The underlying texts are taken from a corpus of professionally authored reviews from multiple news-sources and across a wide variety of domains, including literature, games, music, products, movies and more. We here present a detailed description of this annotation effort. We provide an overview of the developed annotation guidelines, illustrated with examples, and present an analysis of inter-annotator agreement. We also report the first experimental results on the dataset, intended as a preliminary benchmark for further experiments.

研究の動機と目的

• スカンジナビア語の低リソースNLP分野におけるリソース不足に対処するため、ノルウェー語の最初の詳細なセンチメントデータセットを作成すること。
• プロフェッショナルレビューにおける極性表現、ターゲット、ホールダー、極性強度の詳細なアノテーションガイドラインを開発すること。
• ニューラル系列ラベル付けモデルを用いて、ノルウェー語における詳細なセンチメント分析のベンチマークを確立すること。
• 実世界のデータ分布シフトを反映する多様な分野において、モデルのパフォーマンスを評価すること。
• データセットとガイドラインを公開することで、将来的な多言語的およびクロスドメインセンチメント分析研究を可能にすること。

提案手法

• アノテーターは、ノルウェー・レビュー・コーパス（NoReC）から抽出した300件のノルウェー語プロフェッショナルレビューにおいて、極性表現、ターゲット、ホールダー、および極性強度（弱い／平均／強い）をラベル付けした。
• アノテーションスキームには、主観的表現と事実に基づく非個人的評価が含まれており、第一人称のホールダーとトピック関連のターゲットに特別なラベルが割り当てられている。
• アノテーター間整合性は、比例的および二値的オーバーラップメトリクスの両方を用いて測定され、全アノテーションタイプで中程度から高い整合性が得られた。
• ベースラインニューラルモデルは、100次元のfastText単語埋め込みをNoReC${}_{\text{fine}}$データセットでファインチューニングしたBiLSTM-CRFアーキテクチャを用いて訓練された。
• 最適化にはAdamを使用し、ドロップアウト率はBiLSTMで0.5、CRFで0.3と設定し、早期停止法（5エポックの忍耐期間）を適用した。
• 評価には標準的な訓練／開発／テスト分割を用い、F1スコアは比例的および二値的オーバーラップ定義の両方で計算された。

実験結果

リサーチクエスチョン

• RQ1 ニューラル系列ラベル付けモデルは、多様な分野にまたがるノルウェー語テキストにおいて、極性表現、ターゲット、ホールダーをどれほど効果的に同定できるか？
• RQ2 ノルウェー語のプロフェッショナルレビューにおいて、詳細なセンチメント要素をアノテートする際、どの程度のアノテーター間整合性が達成可能か？
• RQ3 訓練データとテストデータの間の分野差が、NoReC${}_{\text{fine}}$データセット上のモデルパフォーマンスにどのように影響するか？
• RQ4 事実に基づく非個人的表現が、ノルウェー語レビューにおけるセンチメント分析にどの程度寄与するか？
• RQ5 訓練データとテストデータの間の分布シフトを考慮した場合、1つのモデルが複数の分野に一般化できるか、ノルウェー語センチメント分析において？

主な発見

• NoReC${}_{\text{fine}}$データセットは、10以上の分野にまたがる300件のプロフェッショナルノルウェー語レビューから約8,000文を含み、その半数近くが評価的である。
• アノテーター間整合性は中程度から高く、ホールダーでは42.4 F1（比例基準）、43.5 F1（二値基準）、ターゲットでは31.3 F1（比例基準）、39.1 F1（二値基準）、極性表現では31.3 F1（比例基準）、61.5 F1（二値基準）であった。
• ベースラインBiLSTM-CRFモデルは、ホールダー分類で42.4 F1（比例基準）を達成し、クロスドメイン一般化の改善余地があることを示した。
• モデルは極性表現分類で最も高い成績（61.5 F1 二値基準）を示し、この設定では表現検出がホールダーやターゲット検出よりもより頑健であることを示唆した。
• 訓練データとテストデータの間の分野シフトがパフォーマンスを低下させ、特にホールダー（56%オーバーラップ）とターゲット（28%オーバーラップ）で顕著であった。これは、モデル一般化における現実的な課題を浮き彫りにした。
• データセットには主観的意見に加え、事実に基づく非個人的評価も含まれており、客観的文にも感情が内蔵され得ることを示しており、健全なセンチメント分析にとって不可欠である。