[論文レビュー] Learning Chinese Word Representations From Glyphs Of Characters

Tzu-Ray Su, Hung-yi Lee|arXiv (Cornell University)|Aug 16, 2017

Natural Language Processing Techniques参考文献 21被引用数 21

ひとこと要約

本稿では、文字の画素図を視覚的特徴として活用し、畳み込み自己符号化器（convAE）を用いて文字ビットマップから構造的パターンを抽出することで、中国語の語彙表現を学習する手法を提案する。この手法は、既存の文字埋め込みベースの語彙表現を向上させ、家族関係に関連する語の類推タスクで顕著な改善を示すが、他の意味的評価では効果が限定的である。

ABSTRACT

In this paper, we propose new methods to learn Chinese word representations. Chinese characters are composed of graphical components, which carry rich semantics. It is common for a Chinese learner to comprehend the meaning of a word from these graphical components. As a result, we propose models that enhance word representations by character glyphs. The character glyph features are directly learned from the bitmaps of characters by convolutional auto-encoder(convAE), and the glyph features improve Chinese word representations which are already enhanced by character embeddings. Another contribution in this paper is that we created several evaluation datasets in traditional Chinese and made them public.

研究の動機と目的

• 文字を画像として扱い、その視覚的特徴（画素図）を活用して中国語の語彙表現を向上させること。
• ルーチン以外の図形的要素が、中国語の語彙表現学習において意味的に寄与するかどうかを調査すること。
• ベンチマーク用語彙表現モデルの評価を目的として、繁体字の新しい評価データセットを構築・公開すること。
• RNNを用いて画素図特徴の系列から直接語彙表現を学習する可能性を検討すること。
• 画素図特徴が、語の類推、類似性、分類などの下流NLPタスクに与える影響を評価すること。

提案手法

• 文字の視覚的構造を表現するため、固定サイズのグレースケールビットマップに中国語文字をレンダリングする。
• 文字ビットマップ上で畳み込み自己符号化器（convAE）を訓練し、コンactな意味的特徴を学習する。
• 事前に学習済みの文字埋め込みベースの語彙表現（CWE）に、学習された画素図特徴を統合して向上させる。
• SkipgramやGloVe風の学習を用いて、画素図特徴の系列から直接語彙表現を学習する変種モデル（GWE）を提案する。
• RNNベースのアーキテクチャを用いて、画素図特徴の系列から語彙表現を学習するが、結果は芳しくない。
• 重み関数と損失最小化（例：GloVe風）を用いて、共起統計から語彙表現学習を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ルーチン以外の文字画素図が、中国語の語彙表現学習を改善できるか？
• RQ2 ビットマップから抽出された画素図特徴は、標準的な文字埋め込みと比較して、語彙表現の向上にどの程度有効か？
• RQ3 画素図特徴の系列から直接語彙表現を学習することは、それらを補完する手段としての使用よりも優れた性能をもたらすか？
• RQ4 語の類推や類似性などのどのような意味的タスクで、画素図特徴が測定可能な改善をもたらすか？
• RQ5 なぜ、画素図特徴を入力としてRNNベースのモデルは、有効な語彙表現を生成できないのか？

主な発見

• convAEを用いて抽出された画素図特徴は、家族関係の語の類推タスクにおいて語彙表現を顕著に向上させ、GWEはCWEを上回る性能を示した。
• SimLex-999では、GWEモデルがCBOW や CWE よりも「伶俐」（機知り）と「聡明」（賢い）といった意味的に関連する語のペアに対して高い類似度スコアを達成し、より良い意味的捉えを示した。
• 都市名や首都名のような非構成的語には限定的な改善が見られ、画素図特徴は文字の構成が意味に寄与する場合に最も効果的であると考えられる。
• 画素図特徴を入力としてRNNベースのモデルは、意味のある表現を生成できず、CBOW よりも性能が劣り、ベクトル演算能力も欠如していた。
• 「山峰」（山）と「蜂蜜」（ハチミツ）といった反例では、共通する部分（例：「夆」）が誤った類似度スコアを生じさせ、視覚的パターンへの過剰適合の可能性を示した。
• 結果から、語彙表現学習において、大規模コーパスの共起統計が画素図特徴を上回ることがあるが、構成的文脈では依然として視覚的特徴が価値を持つことが示唆された。