[論文レビュー] Radical-level Ideograph Encoder for RNN-based Sentiment Analysis of Chinese and Japanese

Yuanzhi Ke, Masafumi Hagiwara|arXiv (Cornell University)|Aug 10, 2017

Sentiment Analysis and Opinion Mining被引用数 11

ひとこと要約

本稿では、中国語および日本語のRNNベースの感情分析における画素レベルの漢字エンコーダーを提案する。文字を完全な文字の埋め込みではなく、画素の埋め込みの系列として表現する。モデルは文字埋め込みモデルと同等の性能を達成し、語彙が90%小さく、パラメータが最大82%少ない状態で、語彙埋め込みの最先端の結果に近く、非アラベット文字を使用する言語において、画素レベルのエンコーディングがコスト効率の高い代替手段であることを示している。

ABSTRACT

The character vocabulary can be very large in non-alphabetic languages such as Chinese and Japanese, which makes neural network models huge to process such languages. We explored a model for sentiment classification that takes the embeddings of the radicals of the Chinese characters, i.e, hanzi of Chinese and kanji of Japanese. Our model is composed of a CNN word feature encoder and a bi-directional RNN document feature encoder. The results achieved are on par with the character embedding-based models, and close to the state-of-the-art word embedding-based models, with 90% smaller vocabulary, and at least 13% and 80% fewer parameters than the character embedding-based models and word embedding-based models respectively. The results suggest that the radical embedding-based approach is cost-effective for machine learning on Chinese and Japanese.

研究の動機と目的

• 中国語および日本語NLPにおける大規模な文字語彙の計算コストおよびストレージコストを低減すること。
• 画素レベルの埋め込みが、中国語および日本語の文字を感情分類に有効に表現できるかどうかを検討すること。
• 文字および語彙レベルの埋め込みベースラインと比較して性能を損なわず、モデルサイズおよびパラメータ数を削減すること。
• 画素ベースのアーキテクチャにおけるCNNおよびRNNコンponentsの有効性を評価すること。
• ハイウェイ層が、提案された画素エンコーダー枠組みにおいて性能を向上させるかどうかを調査すること。

提案手法

• 中国語または日本語の各文字は、空間的順序を保持したまま、画素レベルの埋め込みの系列として表現される。
• 複数のフィルタを用いたCNNが、画素埋め込みの系列から単語レベルの特徴を抽出する。
• 各フィルタの出力に対して時系列方向のマックスプーリングを適用し、固定長の特徴ベクトルを各フィルタごとに生成する。これにより、最も顕著なパターンが捉えられる。
• 双方向RNNがプールされた単語特徴を処理し、文書レベルの文脈をエンコードし、長距離依存性を捉える。
• 最終的な文書レベルの表現は、全結合層およびソフトマックスを経て感情分類に渡される。
• 微細な画素レベルおよび粗い文字レベルのパターンを捉えるために、ストライドが1および3のフィルタが使用される。

実験結果

リサーチクエスチョン

• RQ1 画素レベルの埋め込みは、中国語および日本語の感情分析において、文字レベルの埋め込みの効果的で効率的な代替手段として機能するか？
• RQ2 画素エンコーダーモデルの性能は、文字埋め込みおよび語彙埋め込みベースラインと比較して、正確性およびモデル効率の観点でどの程度か？
• RQ3 提案された画素エンコーダーアーキテクチャにハイウェイ層を組み込むことで、性能が向上するか？
• RQ4 画素の使用によって、語彙サイズおよびモデルパラメータ数をどの程度削減できるか、同時に競争力のある正確性を維持できるか？
• RQ5 CNNベースの特徴エンコーダーは、下流の感情分類のための意味のある表現を、画素の系列から効果的に抽出できるか？

主な発見

• 提案されたモデルは、文字埋め込みベースのモデルと同等の性能を達成し、中国語および日本語の感情分析データセットにおいて、語彙埋め込みベースの最先端モデルと1〜2%の差で競合する。
• モデルは語彙を90%小さくし、中国語では文字埋め込みベースラインと比較してパラメータを91%、日本語では82%削減した。
• 文字埋め込みモデルと比較して少なくとも13%、語彙埋め込みモデルと比較して80%のパラメータ削減が達成され、顕著な効率性の向上が示された。
• ハイウェイ層は性能向上に顕著な効果を示さず、この感情分類タスクでは不要であると考えられる。
• CNNエンコーダーは、画素の系列から階層的な特徴を効果的に抽出でき、コンactかつ強力な表現を可能にした。
• 結果から、表意言語における大規模な文字セットを有するNLPにおいて、画素レベルのエンコーディングがコスト効率の高い代替手段であることが確認された。