[論文レビュー] Prepositions in Context

Hongyu Gong, Jiaqi Mu+2 more|arXiv (Cornell University)|Feb 5, 2017

Natural Language Processing Techniques参考文献 33被引用数 3

ひとこと要約

この論文は、前置詞の周囲の単語ベクトルの幾何学的構造を活用して文脈特徴をクラスタリングする、リソースに依存しない前置詞意味解釈（PSD）手法を提案する。この手法は、SemEval 2007およびOECデータセットで最先端の性能を達成した。さらに、意味に特化した前置詞埋め込みを学習し、単純なベクトル演算によって phrasal verb の言い換えを可能にする。

ABSTRACT

Prepositions are highly polysemous, and their variegated senses encode significant semantic information. In this paper we match each preposition's complement and attachment and their interplay crucially to the geometry of the word vectors to the left and right of the preposition. Extracting such features from the vast number of instances of each preposition and clustering them makes for an efficient preposition sense disambigution (PSD) algorithm, which is comparable to and better than state-of-the-art on two benchmark datasets. Our reliance on no external linguistic resource allows us to scale the PSD algorithm to a large WikiCorpus and learn sense-specific preposition representations -- which we show to encode semantic relations and paraphrasing of verb particle compounds, via simple vector operations.

研究の動機と目的

• 依存解析器や品詞タガーなどの外部言語処理ツールに依存しない前置詞意味解釈（PSD）アルゴリズムの開発。
• 単語ベクトル幾何学から導出される文脈依存特徴が、前置詞の多義性を効果的に捉え、意味クラスタリングを可能にするかの検証。
• 意味クラスタリングの結果を用いて大規模コーパスから意味特化型前置詞表現を学習し、その意味的関係の捉え具合を評価。
• 意味特化型前置詞埋め込みが、単純なベクトル演算によって phrasal verb の言い換えを改善できるかの検討。
• 意味特化型表現の内在的評価タスクにおける有効性の検証と、一義的グローバル表現との比較。

提案手法

• 各前置詞の出現位置の左および右の単語ベクトルを用いて、文脈特徴を抽出し、各出現に対して特徴ベクトル (ℓ, r) を形成する。
• 抽出された (ℓ, r) 特徴に対してk-meansクラスタリングを適用し、意味クラスタに分類することで、教師なしPSDを実現する。
• 教師あり学習のため、(ℓ, r) 特徴と意味ラベルを用いてSVMまたはMLPを訓練し、特徴の重要度を分析するために重み付きk-NNを用いる。
• 意味解釈済みの意味ラベルを活用して、Word2Vecを再訓練するが、前置詞を中心にした縮小されたコンテキスト窓を用いる。
• 単純な加法的合成モデル（例：'in' + 'America' ≈ 'American'）を適用し、意味特化型埋め込みが意味的関係をどのように表現しているかを検証する。
• VPC（動詞＋粒子複合語）データセットを用いて、phrasal verb とその言い換えの間のベクトル類似度を比較することで、言い換え性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 外部言語リソースを一切使用せず、単語ベクトル幾何学のみで前置詞意味解釈を効果的に達成できるか。
• RQ2 前置詞の左および右の文脈ベクトルは意味の識別にどのように寄与するか。また、(ℓ, r, ℓ+r など) のどの組み合わせが最良の性能をもたらすか。
• RQ3 意味特化型前置詞埋め込みは、アナロジー推論タスクの結果から、グローバル埋め込みよりも意味的関係をよりよく捉えているか。
• RQ4 意味特化型前置詞埋め込みを用いて、単純なベクトル加算によって phrasal verb の言い換えを生成できるか。
• RQ5 意味の粒度と学習データの品質が、意味特化型前置詞表現の性能に与える影響は何か。

主な発見

• 提案された教師なしPSD手法は、SemEval 2007データセットで0.584の精度を達成し、最先端（0.56）を上回り、言語ツールに依存する先行手法をも凌駕した。
• OECデータセットでは、(ℓ, r, i) 特徴を用いたMLPを用いた教師ありモデルが0.351の精度を達成し、ベースラインモデルを著しく上回り、統合された文脈特徴の価値を示した。
• 意味特化型前置詞埋め込みにより、'in' + 'America' ≈ 'American' というアナロジー関係が実現可能になったが、グローバル埋め込みではこの関係を捉えられなかった。
• 意味特化型 'for' 埋め込みを用いることで、'fight for' の上位3位の言い換えに 'defend' が得られ、グローバルまたは単純な表現では達成できなかった。
• 重み付きk-NN分析から、'behind'、'to'、'with' などの前置詞は、付随する動詞に強く影響を受けるのに対し、'during' や 'on' は補語に依存していることが明らかになった。
• 意味特化型表現は、内在的評価において一義的表現を著しく上回り、より豊かな意味的コンテンツを符号化できる能力を確認した。