[論文レビュー] Unsupervised Transfer of Semantic Role Models from Verbal to Nominal Domain

Yanpeng Zhao, Ivan Titov|arXiv (Cornell University)|May 1, 2020

Natural Language Processing Techniques参考文献 36被引用数 4

ひとこと要約

本稿では、ラベル付き名詞的データを一切必要とせずに、動詞的領域から名詞的領域への意味的役割ラベリングを転送するための変分オートエンコーダ（VAE）ベースの手法を提案する。動詞的述語と名詞的述語の間で共有される選択的好み（selectional preferences）を活用することで、共通のデコーダパラメータを持つ連携エンコーダ・デコーダフレームワークを用い、名詞的構文における役割を予測する。CoNLL-2009で最先端の性能を達成し、教師ありおよび教師なしベースラインを最大で4.27% F1向上させた。

ABSTRACT

Semantic role labeling (SRL) is an NLP task involving the assignment of predicate arguments to types, called semantic roles. Though research on SRL has primarily focused on verbal predicates and many resources available for SRL provide annotations only for verbs, semantic relations are often triggered by other linguistic constructions, e.g., nominalizations. In this work, we investigate a transfer scenario where we assume role-annotated data for the source verbal domain but only unlabeled data for the target nominal domain. Our key assumption, enabling the transfer between the two domains, is that selectional preferences of a role (i.e., preferences or constraints on the admissible arguments) do not strongly depend on whether the relation is triggered by a verb or a noun. For example, the same set of arguments can fill the Acquirer role for the verbal predicate `acquire' and its nominal form `acquisition'. We approach the transfer task from the variational autoencoding perspective. The labeler serves as an encoder (predicting role labels given a sentence), whereas selectional preferences are captured in the decoder component (generating arguments for the predicting roles). Nominal roles are not labeled in the training data, and the learning objective instead pushes the labeler to assign roles predictive of the arguments. Sharing the decoder parameters across the domains encourages consistency between labels predicted for both domains and facilitates the transfer. The method substantially outperforms baselines, such as unsupervised and `direct transfer' methods, on the English CoNLL-2009 dataset.

研究の動機と目的

• 意味的役割ラベル付きの名詞的述語データの不足に起因する、イベント抽出や要約処理などのNLP応用分野における課題に対処すること。
• ラベル付き動詞的領域からラベルなし名詞的領域へ意味的役割モデルを転移可能とすることにより、名詞的データのラベル付け不足を克服すること。
• 意味的役割の選択的好みが動詞的形態と名詞的形態の間で一貫しているという仮説を活用すること（例：'acquire' と 'acquisition'）。
• 役割予測と引数生成を連携してモデリングする半教師ありVAEフレームワークを構築し、ドメイン間でデコーダパラメータを共有することで一貫性を強制すること。
• CoNLL-2009データセットを用いて、既存の教師なしおよび直接転送ベースラインを上回る名詞的SRL性能を達成すること。

提案手法

• ラベルラーをエンコーダとして用い、入力文から意味的役割を予測する変分オートエンコーダ（VAE）フレームワークを採用する。
• 予測された役割に基づいて引数を生成する共通デコーダコンponentを採用し、ドメイン間での選択的好みを捉える。
• モデルを学習するために、下界の期待値（ELBO）を最適化する。ラベルラーは、名詞的ドメインで観測された引数を予測できる役割を予測するように最適化される。
• 特にラベル付き動詞的データが限られている場合の一般化を向上させるために、合成動詞例によるデータ拡張を導入する。
• 訓練の安定化と確率的勾配降下法によるVAE目的関数の最適化を実現するため、再パrameterizationトリックを適用する。
• 動詞的および名詞的ドメイン間でデコーダパラメータを共有することで、選択的好みの一貫性を強制し、効果的なドメイン転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き名詞的データが一切存在しない状況下でも、動詞的述語で学習した意味的役割ラベリングモデルを、名詞的述語に効果的に転送できるか。
• RQ2 意味的役割の選択的好みが、動詞的構文と名詞的構文の間でどの程度一貫しているか。
• RQ3 役割と引数の連携モデリングを実現する共有VAEアーキテクチャは、ベースライン手法と比較して教師なし名詞的SRLをどのように改善するか。
• RQ4 潜在コード、連携引数モデリング、データ拡張といった各モジュールが、モデル性能および訓練安定性に与える影響は何か。
• RQ5 限定的なラベル付き動詞的データしか利用できない低リソース環境でも、モデルは一般化可能か。

主な発見

• 提案手法のVAEベースモデルは、CoNLL-2009の名詞的開発セットで74.80% F1を達成し、最も強力なベースライン（Most-frequent）を4.27% F1上回った。
• アブレーションスタディにより、潜在コード、連携引数モデリング、データ拡張がすべて最適性能を発揮するために不可欠であることが確認され、全モデルが最も安定した訓練を示した。
• ラベル付き動詞的例が増えるに従い、モデルの精度が一貫して向上する傾向を示し、スケーラビリティとデータ効率性が裏付けられた。
• 教師なしベースライン（SyntFunやArg2vec）を著しく上回り、教師ありのFactorizationベースラインですら、教師なし設定下で本手法を上回った。
• 直接転送法（動詞的モデルを名詞的データに直接適用）は、本手法よりも性能が劣っており、ドメイン特化型の適応の重要性が浮き彫りになった。
• 結果は、意味的役割の選択的好みが動詞的形態と名詞的形態の間で大きく不変であるという核心仮説を裏付け、効果的な転送が可能であることを示した。