[論文レビュー] Phonetic-enriched Text Representation for Chinese Sentiment Analysis with Reinforcement Learning

Haiyun Peng, Yukun Ma+3 more|arXiv (Cornell University)|Jan 23, 2019

Sentiment Analysis and Opinion Mining参考文献 55被引用数 5

ひとこと要約

本稿では、強化学習に基づくDISAネットワークを用いて、深層音素表記とイントネーションの変化を活用することで、中国語感情分析のための新しい音声的特徴を備えたテキスト表現を提案する。学習済みおよび抽出された音声的特徴をテキスト的・視覚的モダリティと統合し、5つの中国語感情分析データセットにおいて最先端の性能を達成し、音声的曖昧除去を通じて感情分類の正確性を顕著に向上させた。

ABSTRACT

The Chinese pronunciation system offers two characteristics that distinguish it from other languages: deep phonemic orthography and intonation variations. We are the first to argue that these two important properties can play a major role in Chinese sentiment analysis. Particularly, we propose two effective features to encode phonetic information. Next, we develop a Disambiguate Intonation for Sentiment Analysis (DISA) network using a reinforcement network. It functions as disambiguating intonations for each Chinese character (pinyin). Thus, a precise phonetic representation of Chinese is learned. Furthermore, we also fuse phonetic features with textual and visual features in order to mimic the way humans read and understand Chinese text. Experimental results on five different Chinese sentiment analysis datasets show that the inclusion of phonetic features significantly and consistently improves the performance of textual and visual representations and outshines the state-of-the-art Chinese character level representations.

研究の動機と目的

• 中国語の音声的要因—特に深層音素表記とイントネーションの変化—が感情分析において果たす未だ十分に探査されていない役割を解決すること。
• 各ピンインに対してイントネーションを学習し、曖昧除去することで感情分類を向上させる手法を開発すること。
• 音声的特徴をテキスト的・視覚的表現と統合し、人間のマルチモodal理解に類似した中国語テキストの理解を実現すること。
• 音声的情報が中国語感情分析におけるテキスト的および視覚的表現をどのように向上させるかを実証すること。

提案手法

• 音声ベースの特徴（実際の録音から抽出）とピンインコーパスからの学習済みピンイントークン埋め込み（イントネーションあり・なしを含む）の2種類の音声的特徴を提案する。
• エージェント・クリティック構造を有する強化学習フレームワークを用いて、DISA（感情分析のためのイントネーション曖昧除去）ネットワークを設計する。
• エージェントネットワークは各ピンインに対して5つのイントネーションのうち1つを選択する。一方、クリティックネットワークはLSTMを用いてピンイン系列を符号化し、感情予測を計算する。
• ポリシーネットワークは感情分類のパフォーマンスに基づく遅延報酬に基づいて更新され、クリティックは交差エントロピー損失を用いて訓練される。
• 音声的特徴をテキスト的・視覚的特徴と統合し、感情分類のためのマルチモーダル表現を生成する。
• t-SNE可視化を用いて、学習済み埋め込みが音声的類似性と意味的関係性の両方を捉えていることを検証する。

Figure 1 : Original input bitmaps (upper row) and reconstructed output bitmaps (lower row).

実験結果

リサーチクエスチョン

• RQ1 音声的情報、特にイントネーションの変化は、テキスト的・視覚的特徴のみに依存する場合よりも中国語感情分析を向上させることができるか？
• RQ2 強化学習モデルは文脈に応じて各ピンインの正しいイントネーションをどれほど効果的に曖昧除去できるか？
• RQ3 音声的特徴はマルチモーダル中国語感情分析において、テキスト的および視覚的表現をどの程度向上させるか？
• RQ4 学習済み音声的埋め込みは中国語ピンインにおいて、音声的類似性と意味的意味の両方を捉えることができるか？

主な発見

• 抽出された（Ex04）および学習済み（PW）音声的特徴の組み合わせ（Ex04+PW）は、Ex04単体を使用した場合と比較して、5つのデータセット全体で平均1.43%の向上を達成した。
• テキスト的・視覚的モダリティと音声的特徴を統合した（T+P）手法は、統計的に有意なマージンで最先端手法を上回った。
• t-SNE可視化により、Ex04+PW埋め込みが音声的類似性（例：類似する母音）と意味的類似性（例：'Niu2' と 'Nai3' が「牛乳」を意味する）の両方を捉えていることが確認された。
• 統合されたT+P表現は、意味的関係（例：'Mu4' と 'Yu4' が「お風呂」を意味する）および音声的関係（例：同音語としての 'Huan2' と 'Huan2'）を効果的に符号化した。
• DISAネットワークはイントネーションを効果的に曖昧除去し、感情極性の曖昧さを解消した—例：'hǎochi'（美味しい）対 'hàochi'（食いしんぼう）。
• 本研究は、深層音素表記とイントネーションが、テキストのみでは捉えきれない意味的・感情的手がかりを有することが示された。

Figure 2: DISA model structure for tone selection. $C_{m}$ stands for the $m$ th Chinese character in a sentence. $P_{m}$ denotes the pinyin for $m$ th character without the tones. $P_{m}n$ represents the pinyin for $m$ th character with its $n$ th tone. $F_{m}n$ is the feature/embedding vector for