[論文レビュー] Hierarchical Curriculum Learning for AMR Parsing

Peiyi Wang, Liang Chen+5 more|arXiv (Cornell University)|Oct 15, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、AMR構文解析のための階層的カリキュラム学習（HCL）を提案する。HCLは、構造レベルのカリキュラム（SC）とインスタンスレベルのカリキュラム（IC）を導入し、序列変換モデルがAMRグラフの階層的構造をよりよく学習できるように支援する。まずコアな意味的要素や単純なインスタンスから学習を開始し、徐々に複雑な構造へと進むことで、モデル性能を向上させ、AMR2.0では84.3のsmatch、AMR3.0では83.7のsmatchを達成し、先行SOTA手法を上回った。

ABSTRACT

Abstract Meaning Representation (AMR) parsing aims to translate sentences to semantic representation with a hierarchical structure, and is recently empowered by pretrained sequence-to-sequence models. However, there exists a gap between their flat training objective (i.e., equally treats all output tokens) and the hierarchical AMR structure, which limits the model generalization. To bridge this gap, we propose a Hierarchical Curriculum Learning (HCL) framework with Structure-level (SC) and Instance-level Curricula (IC). SC switches progressively from core to detail AMR semantic elements while IC transits from structure-simple to -complex AMR instances during training. Through these two warming-up processes, HCL reduces the difficulty of learning complex structures, thus the flat model can better adapt to the AMR hierarchy. Extensive experiments on AMR2.0, AMR3.0, structure-complex and out-of-distribution situations verify the effectiveness of HCL.

研究の動機と目的

• 平坦な序列変換学習目的とAMRグラフの階層的性質との間のギャップを埋めること。
• 複雑で分布外のAMRインスタンスにおけるモデルの一般化性能を向上させること。
• 構造的・インスタンスベースのカリキュラムを通じて、複雑さを段階的に導入することで人間の学習を模倣すること。
• 事前学習済みの序列変換モデルがAMR構文解析における階層的意味的構造を捉える能力を高めること。

提案手法

• 構造レベルのカリキュラム（SC）は、根に近いコアな意味的要素から始まり、段階的に深さが増すAMR部分グラフを用いてモデルを学習する。
• インスタンスレベルのカリキュラム（IC）は、単純なグラフから始まり、構造的複雑さが増すAMRインスタンスを順に学習する。
• SCとICを交互に切り替えながら、段階的に難易度を上げるカリキュラムスケジュールを用いてモデルをファインチューニングする。
• 深さ優先探索（DFS）に基づくトークン化を用いて線形化されたAMRグラフを生成し、変数と深さマーカー用の特別なトークンを追加する。
• BARTベースの序列変換モデルにフレームワークを統合し、各カリキュラムの効果を隔離するためのアブレーションスタディを実施する。
• 公平な比較を保つために、後処理はBevilacquaら（2021）と同一の手順に従う。

実験結果

リサーチクエスチョン

• RQ1 階層的カリキュラム学習戦略は、序列変換モデルのAMR構文解析性能を向上させることができるか？
• RQ2 詳細な構造の前にコアな意味的要素を学習させることで、モデルのAMR階層構造理解が向上するか？
• RQ3 単純なインスタンスから複雑なインスタンスへと段階的に学習させることで、複雑で分布外のデータに対する一般化性能が向上するか？
• RQ4 構造レベルとインスタンスレベルのカリキュラムは、有効性と補完性においてどのように比較されるか？

主な発見

• HCLはAMR2.0で84.3のsmatch、AMR3.0で83.7のsmatchを達成し、先行SOTA手法をそれぞれ0.5点および0.7点上回った。
• 構造依存指標（ラベルなし、再帰的参照、SRL）において、HCLはAMR2.0でF1を2.97ポイント、AMR3.0で2.83ポイント向上させ、構造的学習の向上を示した。
• 両カリキュラムを組み合わせたモデルはアブレーションバージョンを上回り、SCはICよりも強い個別効果を示しており、SCが階層的認識に与える影響がより大きいことを示唆した。
• 分布外データセット（BIO、TLP、News3）では、HCLが61.1、78.2、75.3のsmatchを達成し、すべてのデータセットでBevilacquaら（2021）を上回り、一般化性能の向上を示した。
• 深さの深いAMRグラフにおいて性能向上が顕著であり、HCLはグラフの深さが増すほど常にベースラインを上回った。