[論文レビュー] MTLB-STRUCT @PARSEME 2020: Capturing Unseen Multiword Expressions Using Multi-task Learning and Pre-trained Masked Language Models

Shiva Taslimipoor, Sara Bahaadini+1 more|arXiv (Cornell University)|Nov 4, 2020

Topic Modeling参考文献 22被引用数 15

ひとこと要約

本稿では、多言語Bertを用いて動詞的多語フレーズ（VMWE）と依存構文解析木を同時に予測するマルチタスク学習システムMTLB-STRUCTを提示する。BERTの隠れ表現を共有し、構文解析に木CRFを採用することで、14言語における未観測VMWEのF1スコアがSOTAを達成し、PARSEME 2020共同課題で1位を獲得した。

ABSTRACT

This paper describes a semi-supervised system that jointly learns verbal multiword expressions (VMWEs) and dependency parse trees as an auxiliary task. The model benefits from pre-trained multilingual BERT. BERT hidden layers are shared among the two tasks and we introduce an additional linear layer to retrieve VMWE tags. The dependency parse tree prediction is modelled by a linear layer and a bilinear one plus a tree CRF on top of BERT. The system has participated in the open track of the PARSEME shared task 2020 and ranked first in terms of F1-score in identifying unseen VMWEs as well as VMWEs in general, averaged across all 14 languages.

研究の動機と目的

• 低リソースおよびゼロショット設定下で、複数言語にまたがる未観測の多語フレーズ（MWE）を検出する課題に対処すること。
• 事前学習された言語モデルと準教師ありマルチタスク学習を活用することで、MWE検出の一般化性能を向上させること。
• VMWEタギングと依存構文解析を同時に学習することで、構文的および意味的表現学習を強化すること。
• 言語固有の特徴やデータの調整なしに、堅牢に動作する多言語システムを構築すること。
• 特に未知語彙率の高い低リソース環境下で、観測済みおよび未観測MWEの両方で性能を評価すること。

提案手法

• VMWE検出と依存構文解析の両タスクに共通する文脈的エンコーダーとして、多言語Bertを微調整する。
• BERTの最終隠れ状態の上に線形層を設け、トークン分類によりVMWEタグを予測する。
• 双線形層と木CRFを用いて依存構文解析木をモデル化し、構造的一致性を確保する。
• 両タスク間でBERTの隠れ表現を共有することで、パラメータ効率とタスク間知識移転を実現する。
• VMWEタギングと依存構文解析の損失を組み合わせた共同目的関数を用いて、エンドツーエンドでモデルを訓練する。
• 言語固有の修正やデータ拡張なしに、14言語に均一に適用する。

実験結果

リサーチクエスチョン

• RQ1 VMWE検出と依存構文解析の共同学習は、未観測MWEへのゼロショットおよび少数ショット一般化を改善できるか？
• RQ2 BERTを用いたマルチタスク学習は、多様な言語におけるMWEの構文的・意味的特徴をどれほど的確に捉えられるか？
• RQ3 木CRFの統合は、標準的なCRFや線形デコードと比較して、構文解析品質およびMWE検出性能を向上させるか？
• RQ4 事前学習されたBERT表現は、未知語彙率の高い低リソース言語において、データ不足の影響をどれほど軽減できるか？
• RQ5 本システムは、離散的MWEやライト・ヴェルブ構文を含むさまざまなMWEタイプにおいて、特に低リソース環境でどの程度の性能を示すか？

主な発見

• PARSEME 2020共同課題において、14言語すべてで最高の全体MWEベースF1スコア70.14を達成した。
• 未観測MWEベースF1スコアが最高の38.53を記録し、オープントラックで1位を獲得した。
• ポルトガル語（PT）では、2番目に良いシステム（Seen2Unseen）より未観測MWEで21.59 F1ポイント高い性能を示した。
• ヒンディー語（HI）では、本システムとSeen2Unseenの差が10.45 F1ポイントにのぼり、未知語彙率の高い言語でも強力な一般化性能を示した。
• 未観測MWEの割合が高い言語（例：GA、HE、HI）で最も高い性能を示し、強いゼロショット一般化能力を示した。
• ヒンディー語（7%）とトルコ語（4%）の離散的MWEでは、性能が著しく低下（最大30 F1ポイント）し、構造的複雑さへの対処の難しさが示された。