[論文レビュー] Quantum-inspired Complex Word Embedding

Qiuchi Li, Sagar Uprety+2 more|arXiv (Cornell University)|May 29, 2018

Topic Modeling参考文献 18被引用数 6

ひとこと要約

本稿では、複素数ベクトルを用いたヒルバート空間表現を用いて、語の組み合わせにおける顕在的意味をモデル化する、量子にインspiredされた複素数語埋め込みを提案する。語の組み合わせを、複素数位相を伴う語状態の重ね合わせまたは混合として扱うことで、古典的でない語の相互作用（例：「ペンギン」と「飛ぶ」のような意味的相反）を捉え、5つの二値文類別ベンチマークで最先端の性能を達成し、混合モデル（CE-Mix）は既存の非量子的手法を上回った。

ABSTRACT

A challenging task for word embeddings is to capture the emergent meaning or polarity of a combination of individual words. For example, existing approaches in word embeddings will assign high probabilities to the words "Penguin" and "Fly" if they frequently co-occur, but it fails to capture the fact that they occur in an opposite sense - Penguins do not fly. We hypothesize that humans do not associate a single polarity or sentiment to each word. The word contributes to the overall polarity of a combination of words depending upon which other words it is combined with. This is analogous to the behavior of microscopic particles which exist in all possible states at the same time and interfere with each other to give rise to new states depending upon their relative phases. We make use of the Hilbert Space representation of such particles in Quantum Mechanics where we subscribe a relative phase to each word, which is a complex number, and investigate two such quantum inspired models to derive the meaning of a combination of words. The proposed models achieve better performances than state-of-the-art non-quantum models on the binary sentence classification task.

研究の動機と目的

• 語の組み合わせにおける顕在的意味、あるいは顕在的極性（例：「ペンギン」と「飛ぶ」のような意味的相反）を捉える課題に対処すること。
• 実数ベクトルに依存する古典的語埋め込みの限界を克服し、干渉や位相依存意味をモデル化できないこと。
• 自然言語における量子的干渉効果をよりよく反映するために、語表現に複素数を使用することの検討。
• 複素数埋め込みを用いた量子にインスパイアされたモデルが、非量子ベースラインと比較して文レベルの意味的分類を改善できるかの調査。
• 重ね合わせと混合の2つの異なる量子にインスパイアされたモデルが、文の意味を効果的に表現できるかの検証。

提案手法

• 各語を、重み（振幅）が共起統計をエンコードし、複素数位相が文脈的極性または干渉効果をエンコードするヒルバート空間内の複素数ベクトルとして表現する。
• 語の組み合わせを、個々の語状態の重ね合わせ（CE-Sup）または語射影子の古典的混合（CE-Mix）としてモデル化し、両者とも複素数表現を用いる。
• 複素数語ベクトルの内積を用いて類似度を計算し、位相差による量子干渉を活用して文レベルの意味を推論する。
• 二値文類別タスクのため、KerasとTensorFlowを用いたニューラルネットワークフレームワークで、交差エントロピー損失を用いてモデルを学習する。
• 位相情報を保持するために、ネットワーク全体に複素数演算（複素数活性化関数および逆誤差伝搬）を適用する。
• 理論的枠組みとして、QWeb（Quantum Web）を活用し、語の組み合わせを位相依存干渉を伴う状態の重ね合わせとして解釈することで、非古典的意味モデル化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 提案された量子にインスパイアされた複素数埋め込みモデルは、文類別タスクにおいて最先端の非量子的手法を上回るか？
• RQ2 混合モデル（CE-Mix）は、重ね合わせモデル（CE-Sup）よりも、語の組み合わせ意味を捉えるのに優れているか？
• RQ3 位相情報を含む複素数語表現は、実数ベクトル埋め込みを上回る性能向上を達成できるか？
• RQ4 量子にインスパイアされたヒルバート空間表現を用いることで、意味的相反や顕在的意味のモデル化が向上するか？
• RQ5 word2vec、fastText、実数ベクトル埋め込みといった強力なベースラインと比較して、性能向上が統計的に有意か？

主な発見

• CE-Mixモデルは、5つのベンチマークデータセットのうち4つで最高の正確度を達成し、CRで81.1%、MPQAで86.6%、MRで79.8%、SSTで83.3%、SUBJで92.8%を記録した。
• CE-Mixモデルは、すべてのデータセットでUnigram-TFIDFベースラインを有意に上回った（p < 0.05）、統計的優位性を示した。
• CE-Mixモデルは、word2vec、fastText、DictRepベースラインに対しても、MPQAを除くすべてのデータセットでp値 < 0.05で有意に優れており、一貫した向上を確認した。
• CE-Supモデルは非量子モデルと同等の性能を示したが、CE-Mixに劣っており、すべてのデータセットで有意差なし（p > 0.05）であった。
• 実数埋め込みベースライン（Real-Embed）は、両方の複素数モデルに有意に劣った（すべてのデータセットでp < 0.05）、複素数表現の優位性を裏付けた。
• 結果から、語の射影子の古典的混合（CE-Mix）として文をモデル化する方が、潜在的概念の重ね合わせ（CE-Sup）よりも効果的であることが示され、現実世界の意味的依存関係とより良い一致を示している。