[論文レビュー] Multi-task Learning for Cross-Lingual Sentiment Analysis

Gaurish Thakkar|arXiv (Cornell University)|Jan 1, 2021

Sentiment Analysis and Opinion Mining参考文献 10被引用数 5

ひとこと要約

本稿では、ドキュメント、段落、文のレベルで豊富なスロベニア語のアノテーションを活用して、リソースが乏しいクロアチア語のニュース記事における多言語間センチメント分析を向上させる、三か国語対応BERTベースのマルチタスク学習フレームワークを提案する。この手法は、クロアチア語とスロベニア語間で表現を共有しながら、複数のシーケンスレベルで同時に学習することで、特に少データ（few-shot）およびゼロショット（zero-shot）設定において、クロアチア語のセンチメント分類で優れた性能を達成し、ドキュメントレベルのタスクにおいて、単一タスクベースラインを最大でF1スコア10.5%向上させる。

ABSTRACT

This paper presents a cross-lingual sentiment analysis of news articles using zero-shot and few-shot learning. The study aims to classify the Croatian news articles with positive, negative, and neutral sentiments using the Slovene dataset. The system is based on a trilingual BERT-based model trained in three languages: English, Slovene, Croatian. The paper analyses different setups using datasets in two languages and proposes a simple multi-task model to perform sentiment classification. The evaluation is performed using the few-shot and zero-shot scenarios in single-task and multi-task experiments for Croatian and Slovene.

研究の動機と目的

• リソースが乏しいクロアチア語のニュースにおけるセンチメント分析を、ドキュメント、段落、文のレベルでアノテートされた高リソースのスロベニア語データセットを活用して向上させること。
• ドキュメント、段落、文のレベルでマルチタスク学習を実施することで、クロアチア語への多言語間転移性能が向上するかどうかを調査すること。
• 共有された三か国語対応BERTエンコーダーが、スロベニア語からクロアチア語へのセンチメント知識転移を効果的に行えるかどうかを評価すること。
• スロベニア語からのゼロショット転移に比べ、限定的なターゲット言語（クロアチア語）データが性能向上に寄与するかどうかを特定すること。
• 階層的なアノテーションレベル（文、段落、ドキュメント）が、多言語間センチメント分類におけるモデルの一般化性能および誤りパターンに与える影響を調査すること。

提案手法

• 三か国語対応BERTベースのモデルを、クロアチア語およびスロベニア語のデータセット上で微調整し、言語をまたいで文脈表現を抽出する共有言語エンコーダーを用いる。
• ドキュメントレベル、段落レベル、文レベルのセンチメント分類のための3つの分類ヘッドを別々に学習する。
• ドキュメントレベルのヘッドは、クロアチア語およびスロベニア語のデータを統合して学習するが、段落および文レベルのヘッドは、クロアチア語データセットに同様のアノテーションが存在しないため、スロベニア語データのみで学習する。
• 微調整中に3つのヘッドを同時に最適化することで、マルチタスク学習を実施し、レベルおよび言語間での知識転移を可能にする。
• 評価にはマクロ平均の適合率、再現率、F1スコアを用い、少データおよびゼロショット設定の両方で実験を実施する。
• 誤り分析の結果、入力が切り詰められている場合に、特にセンチメントを含む語を含む中立的な記事が、誤って肯定的または否定的と分類される傾向があることが判明した。

実験結果

リサーチクエスチョン

• RQ1 ドキュメント、段落、文のレベルでマルチタスク学習を実施することで、リソースが乏しいクロアチア語における多言語間センチメント分類性能が向上するか？
• RQ2 スロベニア語からのゼロショット転移に比べ、限定的なクロアチア語データを含めることで性能がどのように変化するか？
• RQ3 言語の違いがあるにもかかわらず、共有された三か国語対応BERTエンコーダーが、スロベニア語からクロアチア語へのセンチメント知識を効果的に転送できるか？
• RQ4 スロベニア語において文、段落、ドキュメントの多段階アノテーションが、モデルのクロアチア語ニュース記事分類能力を向上させるか？
• RQ5 センチメントを含む内容を含む中立的記事を分類する際の、モデルの主な失敗モードは何か？

主な発見

• マルチタスク学習（MTL）モデルは、クロアチア語ドキュメントレベルのセンチメント分類において、すべての単一タスク学習（STL）ベースラインを上回り、SL+HR MTL設定でF1スコア63.86を達成した。
• SL+HR MTLモデルは、クロアチア語でF1スコア63.86を達成し、STLモデル（F1スコア56.95）およびゼロショットSL MTL（F1スコア50.07）を顕著に上回り、ターゲット言語データの利点を示した。
• スロベニア語において、SL MTLモデルはドキュメントレベル分類でF1スコア74.86を達成し、マルチタスク学習がソース言語でも性能向上をもたらすことを示した。
• SL+HR MTLモデルは、クロアチア語においてSL STLモデル比でF1スコア10.5%向上を達成し、わずかなターゲット言語データでも多言語間転移が向上することを示した。
• 広告やレシピなど、センチメントを含む語を含む中立的な記事では、モデルがしばしば肯定的または否定的と誤って分類するが、特に入力が切り詰められている場合には顕著である。
• 誤り分析から、モデルはセンチメントを含む語に依存しているが、中立的または代表的でないテキストタイプではその文脈を正しく捉えられていないことが判明した。