[論文レビュー] Cross-Lingual Semantic Role Labeling with High-Quality Translated Training Corpus

Hao Fei, Meishan Zhang+1 more|arXiv (Cornell University)|Apr 14, 2020

Natural Language Processing Techniques参考文献 55被引用数 15

ひとこと要約

本稿では、高品質な翻訳SRLデータを用いて低資源言語における性能を向上させる、翻訳ベースのクロスリンガル意味的役割ラベリング（SRL）手法を提案する。この手法は、英語のゴールドスタンダードSRLアノテーション文を目的言語に翻訳することで、低資源言語向けの高品質な擬似アノテーション訓練データを生成する。このアプローチにより、ユニバーサルプロポジションバンクに含まれる7言語においてSRL性能が顕著に向上し、PGN-BiLSTMモデルを用いて元のデータと翻訳データを統合することでさらなる向上が得られる。

ABSTRACT

Many efforts of research are devoted to semantic role labeling (SRL) which is crucial for natural language understanding. Supervised approaches have achieved impressing performances when large-scale corpora are available for resource-rich languages such as English. While for the low-resource languages with no annotated SRL dataset, it is still challenging to obtain competitive performances. Cross-lingual SRL is one promising way to address the problem, which has achieved great advances with the help of model transferring and annotation projection. In this paper, we propose a novel alternative based on corpus translation, constructing high-quality training datasets for the target languages from the source gold-standard SRL annotations. Experimental results on Universal Proposition Bank show that the translation-based method is highly effective, and the automatic pseudo datasets can improve the target-language SRL performances significantly.

研究の動機と目的

• 高資源言語（例：英語）のSRLアノテーション文を自動的に生成された訓練データを活用することで、非英語言語における低資源SRLの課題に対処すること。
• アノテーションプロジェクションやモデル移行の代替手段として、コーパス翻訳の有効性を検討すること。
• ゴールドスタンダードのソースデータと翻訳されたターゲット言語データを統合することで、多言語SRLの性能を向上させること。
• 多言語コーパスにおける言語固有の差異をよりよくモデル化できるように、パラメータ生成ネットワーク（PGN）とBiLSTMを組み合わせたアーキテクチャの利点を調査すること。
• 多様な言語系統にまたがる、単一ソースおよびマルチソースの転送設定における性能を評価すること。

提案手法

• 最先端のニューラル機械翻訳（NMT）を用いて、高資源ソース言語（例：英語）のゴールドスタンダードSRLアノテーション文をターゲット言語に翻訳する。
• 語のアライメントを用いて、ソース言語側の元のSRLラベルを翻訳されたターゲット文にプロジェクションし、擬似アノテーション済みのターゲット言語データセットを生成する。
• 元のソース言語SRLコーパスと、翻訳されたターゲット言語の擬似コーパスを統合して、混合多言語訓練セットを構築する。
• モデルの入力特徴として、多言語の文脈依存語彙表現（例：mBERT）を用いる。
• 異なる言語に適応するため、パラメータ生成ネットワーク（PGN）を用いてBiLSTMエンコーダーを変更し、言語固有のパターンのより良いモデル化を可能にする。
• PGNが各言語ごとに動的にモデルパラメータを生成するように、統合されたソースおよび翻訳済みターゲットデータ上で、共同SRLモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 高資源言語（例：英語）のゴールドスタンダードSRLアノテーション文を低資源言語に翻訳することで、クロスリンガルSRLに使える高品質な訓練データが得られるか？
• RQ2 従来のアノテーションプロジェクションやモデル移行と比較して、翻訳ベースの手法の性能はどの程度か？
• RQ3 ゴールドスタンダードのソースデータと翻訳されたターゲットデータを統合することで、複数の言語でSRL性能が向上するか？
• RQ4 PGN-BiLSTMアーキテクチャは、多言語設定における言語間一般化能力をどの程度向上させるか？
• RQ5 異なる言語系統やマルチソース転送におけるソース言語の多様性が増加するにつれて、性能トレンドはどのように変化するか？

主な発見

• 翻訳ベースの手法は、ユニバーサルプロポジションバンク（UPB v1.0）に含まれる全7言語において、顕著にSRL性能を向上させ、ベースライン手法を上回る。
• 全言語をソースとして用いるマルチソース転送が、全言語で最高の性能を達成し、訓練データにおける言語的多様性の利点を示している。
• PGN-BiLSTMモデルの使用は、標準的なBiLSTM CRFモデルと比較して一貫した改善をもたらし、特に言語固有の構文的・意味的パターンの捉え込みに優れている。
• アーギュメントと述語の間の表層的距離が長くなるほどSRL性能は低下するが、本手法では長距離でも強い性能を維持している。
• アーギュメントロールのF1スコアは頻度に基づくトレンドを示しており、A0（Agent）が最も高いスコアを記録し、次にA1（Patient）が続く。A2 や AM-TMP といった頻度の低いロールは低いが、本手法により改善が見られる。
• PGNモデルにおける言語ID埋め込みのユークリッド距離と性能トレンドが相関しており、言語対が近いほどクロスリンガル転送の恩恵をより大きく受けていることが示唆されている。