[論文レビュー] Reproducing and learning new algebraic operations on word embeddings using genetic programming

Roberto Santana|arXiv (Cornell University)|Feb 18, 2017

Evolutionary Algorithms and Applications参考文献 21被引用数 3

ひとこと要約

この論文では、手作業で設計された線形演算よりも優れた性能を示す単語埋め込みの代数的演算を自動で発見・進化させるために遺伝的プログラミング（GP）の使用を提案している。ベクトル結合を実行可能プログラムとして扱うことで、GPは標準的手法よりも高い精度を達成する複雑な非線形変換を学習する。これは、異なるベクトル空間やコーパス間で汎用性を示している。

ABSTRACT

Word-vector representations associate a high dimensional real-vector to every word from a corpus. Recently, neural-network based methods have been proposed for learning this representation from large corpora. This type of word-to-vector embedding is able to keep, in the learned vector space, some of the syntactic and semantic relationships present in the original word corpus. This, in turn, serves to address different types of language classification tasks by doing algebraic operations defined on the vectors. The general practice is to assume that the semantic relationships between the words can be inferred by the application of a-priori specified algebraic operations. Our general goal in this paper is to show that it is possible to learn methods for word composition in semantic spaces. Instead of expressing the compositional method as an algebraic operation, we will encode it as a program, which can be linear, nonlinear, or involve more intricate expressions. More remarkably, this program will be evolved from a set of initial random programs by means of genetic programming (GP). We show that our method is able to reproduce the same behavior as human-designed algebraic operators. Using a word analogy task as benchmark, we also show that GP-generated programs are able to obtain accuracy values above those produced by the commonly used human-designed rule for algebraic manipulation of word vectors. Finally, we show the robustness of our approach by executing the evolved programs on the word2vec GoogleNews vectors, learned over 3 billion running words, and assessing their accuracy in the same word analogy task.

研究の動機と目的

• 遺伝的プログラミングが単語埋め込みの有効な合成演算を自動で学習できるかどうかを調査すること。
• GPによって生成されたプログラムが、意味的関係を捉えるために、従来の線形代数的演算を上回れるかどうかを特定すること。
• 進化したプログラムが、異なる単語ベクトル空間やコーパス間で汎用可能かどうかを評価すること。
• ベクトル空間における意味的合成のための複雑で非線形な変換を進化させることの可能性を調査すること。
• 小さなベクトル空間で訓練されたプログラムが、より大きな、より複雑な空間に一般化できるかどうかを評価すること。

提案手法

• 木構造ベースの遺伝的プログラミング（GP）を用いて、単語ベクトル演算を実行可能プログラムとして表現する。
• 算術演算子（例：+、−、×、÷）、定数、および単語ベクトル入力を用いた記号的式として演算をエンコードする。
• 語の類推精度に基づくフィットネス評価を用いてプログラムを進化させる：出力ベクトルと正しいターゲット語との距離を最小化する。
• 選択、交差、突然変異といった標準的なGPオペレータを用いて、世代を重ねてプログラムの品質を段階的に向上させる。
• コサイン類似度を用いてベクトル空間内の最近傍を特定するなど、語の類推ベンチマークで訓練および検証する。
• GoogleNews（30億語）など、小規模および大規模なword2vecベクトルを用いて、一般化および汎用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 遺伝的プログラミングを用いて、トレーニング例から意味のあるベクトル代数的演算を学習できるか？
• RQ2 遺伝的プログラミングは、意味的ベクトル空間における合成演算を発見するための実用的かつ有効なアプローチか？
• RQ3 語の類推タスクにおいて、GPの性能は標準的な人間が設計した線形演算と比べてどうか？
• RQ4 GPで進化したプログラムは、異なる言語的タスク、ベクトル表現、コーパスサイズ間で汎用可能か？
• RQ5 小規模なベクトル空間で訓練されたプログラムは、より大きな、より複雑なベクトル空間に対しても効果的に適用できるか？

主な発見

• GPによって生成されたプログラムは、標準的な人間が設計したルール（例：king − man + woman → queen）よりも語の類推タスクで高い正確性を達成した。
• 進化したプログラムは、性別や活用形の関係といった既知の言語的規則性を、より高い精度で再現できた。
• 進化したプログラムは強力な汎用性を示し、30億語のGoogleNews word2vecモデル（小規模なデータセットで訓練）でも良好な性能を発揮した。
• このアプローチは、単純な線形結合よりも優れた非線形で複雑な合成演算を効果的に学習できた。
• 小規模から中規模のベクトル空間で訓練されたプログラムは、より大きな、計算コストの高いベクトル空間でも効果的に機能し、スケーラビリティと効率性の向上を示した。
• 結果から、GPは標準的な線形演算では捉えきれない、隠れたまたは微細な意味的関係を同定できる可能性があると示唆された。