[論文レビュー] Paraphrase to Explicate: Revealing Implicit Noun-Compound Relations

Vered Shwartz, Ido Dagan|arXiv (Cornell University)|May 7, 2018

Natural Language Processing Techniques参考文献 29被引用数 5

ひとこと要約

本稿では、名詞複合語の意味的関係を連続的ベクトル表現として表すことにより、未観測または希少な名詞複合語への一般化を向上させるニューラル半教師ありモデルを提案する。名詞複合語の両方の構成要素と、類義的テンプレートを連続的ベクトルとして表現することで、未知の複合語に対してもより良い一般化が可能になる。両方のタスクを同時に学習することで、類義的表現の予測と、類義的表現と1つの構成要素から欠落している構成要素を予測するという2つの目的を統合的に最適化し、特にリソースが限られた状況や語彙スプリット設定下で、類義的表現と分類タスクの両方の性能が向上する。

ABSTRACT

Revealing the implicit semantic relation between the constituents of a noun-compound is important for many NLP applications. It has been addressed in the literature either as a classification task to a set of pre-defined relations or by producing free text paraphrases explicating the relations. Most existing paraphrasing methods lack the ability to generalize, and have a hard time interpreting infrequent or new noun-compounds. We propose a neural model that generalizes better by representing paraphrases in a continuous space, generalizing for both unseen noun-compounds and rare paraphrases. Our model helps improving performance on both the noun-compound paraphrasing and classification tasks.

研究の動機と目的

• 名詞複合語に内在する暗黙の意味的関係を解釈する課題に取り組むこと。これは自然言語で一般的であるが、従来の手法では一般化が難しい。
• コーパス上の共起頻度に依存せず、連続的ベクトル空間で類義的表現をモデル化することにより、希少または未観測の名詞複合語に対する一般化を向上させること。
• 類義的表現の予測と、類義的表現と1つの構成要素から欠落している構成要素を予測するという両方のタスクを統合的に学習することで、名詞複合語の類義的表現と分類タスクの両方の性能を向上させること。
• 連続的ベクトル表現された類義的テンプレートが、選択的制約（selectional preferences）をよりよく捉え、ゼロショット推論を効果的に行えるかどうかを検証すること。
• 特に、訓練時に構成要素や関係が未見であった場合に、モデルの一般化能力がどの程度発揮されるかを評価すること。

提案手法

• モデルは、名詞複合語の構成要素と類義的テンプレートを、連続的ベクトル表現に変換するため、双方向LSTM（biLSTM）を用いる。
• 2つの学習目的で訓練される：(1) 名詞複合語が与えられたときの類義的表現の予測（例：'apple cake' → 'made of [w1]'）、(2) 類義的表現と1つの構成要素が与えられたときの欠落している構成要素の予測（例：'[w2] made of [w1]' + 'cake' → 'apple'）。
• 類義的テンプレートは、意味的に類似したテンプレートが近接するように、共有された連続的空間に埋め込まれる。これにより、ベクトルの類似度に基づいた一般化が可能になる。
• モデルは語の分布的表現を活用し、共同学習によって選択的制約を学習することで、訓練データに共起しない構成要素に対しても妥当な類義的表現を推論できる。
• 非適合なネガティブサンプル（例：'unrelated'テンプレート）を訓練中に含めることで、非組み合わせ的複合語のシミュレーションを行い、モデルのロバスト性を向上させる。
• モデルは分布的表現と類義的表現に基づく予測を統合し、両方の信号を組み合わせることで分類性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 類義的表現と欠落している構成要素の両方を予測するように訓練されたニューラルモデルは、従来の共起頻度依存手法と比較して、未観測の名詞複合語への一般化性能が向上するか？
• RQ2 類義的テンプレートの連続的ベクトル表現は、希少または未観測の複合語に対するゼロショット性能をどの程度向上させるか？
• RQ3 共同学習の目的関数は、分離して学習する場合と比較して、類義的表現と分類タスクの両方の性能をどの程度向上させるか？
• RQ4 モデルは、組み合わせ的複合語と非組み合わせ的複合語を効果的に区別できるか。その失敗モードは何か？
• RQ5 類義的表現と分布的表現の統合は、特に語彙スプリット設定下で、分類性能を顕著に向上させるか？

主な発見

• モデルは、特に訓練時に構成要素が未見のゼロショット設定下で、名詞複合語の類義的表現タスクにおいて最先端の性能を達成した。
• 分類タスクでは、統合モデルが分布的表現のみのモデルよりも、'topical'関係では11.1 F1ポイント、'objective'関係では5.5 F1ポイントの向上を示した（Tratz-Coarse語彙スプリット設定下）。
• 類義的表現のコンポonentは、語彙スプリット設定下で特に顕著な分類性能の向上をもたらし、リソースが限られた状況下での価値を示している。
• 訓練コーパスに共起しない構成要素を含む未観測複合語（例：'parsley cake' や 'resignation cake'）に対しても、妥当な類義的表現を効果的に検索できた。
• イディオム的または非組み合わせ的複合語（例：'silver spoon' や 'monkey business'）に対しては苦戦し、妥当ではあるが誤った具体的な解釈を多く割り当ててしまう傾向にあった。
• 非組み合わせ的複合語に対しては、'unrelated'類義的表現がほとんど予測されず、非組み合わせ性の検出能力に限界があることが示された。したがって、本モデルは組み合わせ的複合語に限定して適用すべきである。