[論文レビュー] SeVeN: Augmenting Word Embeddings with Unsupervised Relation Vectors

Luis Espinosa-Anke, Steven Schockaert|ORCA Online Research @Cardiff (Cardiff University)|Aug 18, 2018

Topic Modeling参考文献 35被引用数 5

ひとこと要約

SeVeNは、事前学習済み単語埋め込みに自己教師付き関係ベクトルを組み合わせるハイブリッドフレームワークを導入し、単語ベクトルの平均化とカスタムオートエンコーダーを用いて関係知識を抽出する。この手法により、標準的な単語埋め込みを超えた抽象的な関係パターンを捉えることができ、語の類似度およびテキスト分類タスクで性能向上を達成し、20次元の関係ベクトルがベンチマーク全体で最良の結果をもたらした。

ABSTRACT

We present SeVeN (Semantic Vector Networks), a hybrid resource that encodes relationships between words in the form of a graph. Different from traditional semantic networks, these relations are represented as vectors in a continuous vector space. We propose a simple pipeline for learning such relation vectors, which is based on word vector averaging in combination with an ad hoc autoencoder. We show that by explicitly encoding relational information in a dedicated vector space we can capture aspects of word meaning that are complementary to what is captured by word embeddings. For example, by examining clusters of relation vectors, we observe that relational similarities can be identified at a more abstract level than with traditional word vector differences. Finally, we test the effectiveness of semantic vector networks in two tasks: measuring word similarity and neural text categorization. SeVeN is available at bitbucket.org/luisespinosa/seven.

研究の動機と目的

• 単語埋め込みが意味的類似度を超えた関係的知識を捉える能力に限界があることに対処する。
• 意味ネットワークにおける離散的ラベルよりも表現力の高い、連続的かつベクトルベースの語の間の関係表現を開発する。
• コーパスベースの共起パターンにおける属性的および文脈的ノイズから関係的知識を分離する。
• 語の類似度やテキスト分類といった下流NLPタスクにおける関係ベクトルの有効性を評価する。
• 関係ベクトルが単語ベクトルの差異に現れない抽象的な関係的類似性を捉えることができるかを検討する。

提案手法

• ペア (a, b) の両方の語を含む文から得られる単語ベクトルの平均を用いて、高次元の初期関係ベクトルを構築する。
• 関係ベクトルと語 a および b の個々の単語ベクトルの組み合わせから復元するように設計されたカスタムオートエンコーダーを適用し、元の文脈を再構築することを目的とする。
• オートエンコーダーの学習済み潜在表現を、非関係的属性をフィルタリングした洗練済み関係ベクトルとして用いる。
• PMIスコアに基づくトップネIGHBOR関係ベクトルと単語ベクトルを連結することで、関係ベクトルを単語表現に統合する。
• モデルのアーキテクチャを変更せずに、標準的なニューラルネットワークアーキテクチャを用いて、豊かにされたベクトル表現をテキスト分類に適用する。
• 再構築誤差を最小化するようにオートエンコーダーをエンドツーエンドで学習させ、関係情報の保持に注力しながら、語固有の特徴やノイズを排除する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き関係ベクトルは、標準的な単語埋め込みとは補完的な関係的知識を捉えることができるか？
• RQ2 テキスト内の共起パターンから得られる関係ベクトルは、個々の語の属性を超えた抽象的な関係的類似性を反映しているか？
• RQ3 関係ベクトルは語の類似度やテキスト分類といった下流NLPタスクの性能向上に寄与するか？
• RQ4 関係ベクトルの次元数は、これらのタスクでの性能にどのように影響するか？
• RQ5 ベクトル変換手法よりも、関係ベクトルは対称的または複雑な多対多関係をより効果的にモデル化できるか？

主な発見

• 20次元の関係ベクトル（20rv）が、すべてのテキスト分類ベンチマークで最良の性能を示し、すべてのケースでベースラインを上回るか同等の結果を達成した。
• 20newsデータセットでは、SeVeNの20rvがF1スコア0.89を達成したのに対し、ベースラインは0.86であった。これは一貫した改善を示している。
• reuters-r56データセットでは、20rv設定がF1スコア0.90を達成した。これに対してベースラインは0.86であり、大規模分類タスクにおいて顕著な向上が見られた。
• pol.05データセットでは20rvが最も顕著な改善を示し、F1スコア0.59（ベースライン0.54）を記録した。
• 関係ベクトルは、差分ベクトルが主に語の属性類似性を反映するのに対し、抽象的なレベルでの関係的類似性をよりよく捉えることができた。
• オートエンコーダーは、非関係的および語固有の成分を除去することで、関係ベクトルを洗練させた。その効果は、クラスタリングの向上と下流タスクの性能向上によって裏付けられた。