[論文レビュー] Semantic Composition and Decomposition: From Recognition to Generation

Peter D. Turney|arXiv (Cornell University)|May 30, 2014

Natural Language Processing Techniques参考文献 40被引用数 10

ひとこと要約

本稿では、分布的意味論を用いて意味的構成と分解を生成する二段階フレームワークを提案する。大規模コーパスからの文脈ベクトルとWordNetを用いて評価し、名詞修飾語ビグラムと同義の単語形を生成する際の正確度は77.8%、逆に単語形と同義のビグラムを生成する際は50.7%を達成した。生成は認識よりもより強固なテストであることが示された。これは、オープンボキャブラリー特性と自己教師あり第一段階・教師あり第二段階の段階的最適化によるスケーラビリティのおかげである。

ABSTRACT

Semantic composition is the task of understanding the meaning of text by composing the meanings of the individual words in the text. Semantic decomposition is the task of understanding the meaning of an individual word by decomposing it into various aspects (factors, constituents, components) that are latent in the meaning of the word. We take a distributional approach to semantics, in which a word is represented by a context vector. Much recent work has considered the problem of recognizing compositions and decompositions, but we tackle the more difficult generation problem. For simplicity, we focus on noun-modifier bigrams and noun unigrams. A test for semantic composition is, given context vectors for the noun and modifier in a noun-modifier bigram ("red salmon"), generate a noun unigram that is synonymous with the given bigram ("sockeye"). A test for semantic decomposition is, given a context vector for a noun unigram ("snifter"), generate a noun-modifier bigram that is synonymous with the given unigram ("brandy glass"). With a vocabulary of about 73,000 unigrams from WordNet, there are 73,000 candidate unigram compositions for a bigram and 5,300,000,000 (73,000 squared) candidate bigram decompositions for a unigram. We generate ranked lists of potential solutions in two passes. A fast unsupervised learning algorithm generates an initial list of candidates and then a slower supervised learning algorithm refines the list. We evaluate the candidate solutions by comparing them to WordNet synonym sets. For decomposition (unigram to bigram), the top 100 most highly ranked bigrams include a WordNet synonym of the given unigram 50.7% of the time. For composition (bigram to unigram), the top 100 most highly ranked unigrams include a WordNet synonym of the given bigram 77.8% of the time.

研究の動機と目的

• 意味的構成と分解における認識ベースの評価の限界を是正し、より困難な生成タスクに焦点を移す。
• 事前に定義された候補リストに依存せずに、名詞修飾語ビグラムから同義の単語形、および逆に単語形から同義のビグラムをスケーラブルに生成する手法を開発する。
• コーパスベースおよびWordNetベースのリソースのみを用いて、無教師および教師ありモデルの効果を評価する。
• ホリスティックなトレーニングアプローチが十分であるか、それとも特徴工学と段階的最適化がオープンボキャブラリー生成における性能向上に寄与するかを調査する。

提案手法

• ウォルサムコーパスから導出された文脈ベクトルを用いて語を表現し、分布的意味論と共起パターンに基づく語表現を採用する。
• 高速な無教師アルゴリズム（Comp/Decomp）を用い、約73,000語のWordNet単語形の語彙から、初期のランク付き候補リストを生成する。
• 遅延するが教師ありアルゴリズム（Super）を用い、681の特徴を用いて上位候補を再スコアリングし、識別的学習による正確度向上を実現する。
• 構成（ビグラム → 単語形）では、与えられたビグラムの潜在的同義語としてすべてのWordNet単語形をスコアリングする。分解（単語形 → ビグラム）では、すべての単語形を潜在的な修飾語および中心語としてスコアリングし、候補ビグラムを生成する。
• 分解のため、上位ランクの修飾語と中心語を組み合わせて100万件の候補ビグラムを生成し、その後Superを用いて再ランク付けする。
• 正解のWordNet同義語が上位100件内に含まれるかをチェックすることで性能を評価し、WordNet 3.0の同義語セットを正例として用いる。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された候補リストに依存せずに、分布的モデルが与えられた名詞修飾語ビグラムに対して意味的に同等の単語形を生成できるか？
• RQ2 分布的モデルが与えられた単語形に対して意味的に同等のビグラムを生成でき、効果的に意味的分解を実行できるか？
• RQ3 オープンボキャブラリーにおける構成・分解生成において、二段階的（無教師第一段階、教師あり第二段階）アプローチの性能は、ホリスティックトレーニングと比較してどうなるか？
• RQ4 分解生成におけるより大きな探索空間は、構成と比較して性能にどの程度悪影響を及えるか？

主な発見

• 正しい同義語が上位100件内に含まれる条件で、与えられた名詞修飾語ビグラムと同義の単語形を生成する際、モデルは77.8%の正確度を達成した。
• 分解タスクにおいて、正しい同義語が上位100件内に含まれる条件で、与えられた単語形と同義のビグラムを生成する際、モデルは50.7%の正確度を達成した。
• 1回の推測のみを許す厳密な基準では、構成タスクで17.7%、分解タスクで5.6%の正確度を示し、オープンボキャブラリー生成タスクの困難さが浮き彫りになった。
• 二段階アプローチ（無教師第一段階、教師あり第二段階）により、スケーラブルかつ正確な生成が可能となり、容易な候補リストのバイアスを避ける認識専用ベースラインを上回った。
• 結果から、ホリスティックトレーニング手法は性能に限界があることが示され、特徴豊富な教師ありモデル（例：Super）は、特に大規模語彙にスケーリングされた場合にそれを凌駆する可能性がある。
• 本研究では、1語形あたり53億の潜在的ビグラム分解が存在するという膨大な探索空間のため、意味的分解は構成よりも著しく困難であることが示された。