[論文レビュー] Rewarding Smatch: Transition-Based AMR Parsing with Reinforcement Learning

Tahira Naseem, Abhishek Shah+4 more|arXiv (Cornell University)|May 31, 2019

Topic Modeling参考文献 41被引用数 13

ひとこと要約

本稿では、Smatchスコアを密な報酬信号として用いた強化学習を用いて、Stack-LSTM遷移ベースAMRパーサーを向上させ、ハードおよびソフトアラインメントの統合、BERTベースの文脈的埋め込み、固有表現および概念の前処理、ラベル分離を実装している。このアプローチにより、最先端の性能が達成され、先行研究と比較して非ラベル付きSmatchスコアで1ポイント、SRLで2ポイント向上した。ポリシー勾配学習によるさらなる向上が得られ、アブレーションスタディにより各コンponentの寄与度が確認された。

ABSTRACT

Our work involves enriching the Stack-LSTM transition-based AMR parser (Ballesteros and Al-Onaizan, 2017) by augmenting training with Policy Learning and rewarding the Smatch score of sampled graphs. In addition, we also combined several AMR-to-text alignments with an attention mechanism and we supplemented the parser with pre-processed concept identification, named entities and contextualized embeddings. We achieve a highly competitive performance that is comparable to the best published results. We show an in-depth study ablating each of the new components of the parser

研究の動機と目的

• Smatch評価指標は微分可能ではなく、トークンレベルの監視信号を欠いているため、この指標に合わせた訓練による遷移ベースAMRパーサーの性能向上を目的とする。
• 訓練中に単語からAMRノードへのアラインメントが欠落している問題に対処するため、SEMおよびJAMRからの事前学習済みハードアラインメントとアテンションメカニズムを組み合わせる。
• 文脈的な単語表現（BERT）と固有表現および概念の前処理を統合し、意味的パーサーの正確性を向上させる。
• Smatchスコアを報酬信号として用いた強化学習とポリシー勾配最適化の有効性を評価する。
• 各アーキテクチャ的および訓練的強化の寄与度を分離するための包括的なアブレーションスタディを実施する。

提案手法

• アクションとラベル予測ヘッドを2段階に分け、アクション空間を縮小し、探索効率を向上させるために、Stack-LSTM AMRパーサーに拡張を施す。
• 事前学習済みハードアラインメント（SEMおよびJAMRから）とアテンションメカニズムを統合し、デコード中に動的に単語-ノードアラインメントを最適化する。
• BERTベースの文脈的埋め込みと、別個のBERTベースのタガーモデルを用いて概念および固有表現の識別を実施し、入力表現を豊かにする。
• ラベル分離を導入：アクションとラベル予測を2つの別個のソフトマックス層に分離することで、学習の安定性と性能を向上させる。
• Smatchスコアを報酬信号として用いた自己誘導的ポリシーラーニングを採用。勾配分散を低減するため、グリーディパースをベースラインとして使用。
• ポリシー勾配の目的関数として、∇θLRL = (r(gs) − r(ĝ))∇θlog(pθ(gs)) を採用。ここで gs はサンプルされたグラフ、ĝ はグリーディパース、ε = 0.05 は探索用。

実験結果

リサーチクエスチョン

• RQ1 Smatchスコアを密な非微分可能報酬として強化学習に用いることで、標準的な最大尤度訓練と比較してAMRパーサーの性能が向上するか？
• RQ2 複数のアラインメント手法（ハードおよびソフト）を組み合わせることで、パーサーの正確性と頑健性にどのような影響を与えるか？
• RQ3 BERTベースの文脈的埋め込みと固有表現・概念の前処理は、パーサーの結果にどの程度の向上をもたらすか？
• RQ4 ラベル分離、アテンションベースアラインメント、強化学習の各要素が最終性能に果たす個別の寄与度はどの程度か？
• RQ5 これらのコンポーネントの組み合わせが、AMRパーサーベンチマークで既存の最先端結果を上回るか？

主な発見

• 全モデル（config 16）は非ラベル付きSmatchスコア81.5を達成し、ベースのStack-LSTMパーサー（72.8）より1ポイント向上、GuoとLu（2018）の再実装より5ポイントのリードを記録した。
• Smatch報酬を用いた強化学習は、最良の非RLモデルと比較して2ポイントの向上を示し、評価指標に基づくポリシーベース学習の有効性を裏付けた。
• BERT埋め込みを追加することで、非文脈的単語埋め込みと比較して1ポイント以上の向上が得られ、BERTオンリーモデル（15）は非BERTベースラインより約1ポイント優れていた。
• ハードアラインメント（SEM + JAMR）とアテンションベースのソフトアラインメントの組み合わせにより、ハードアラインメント単体と比較して1ポイントの向上が得られた。
• BERTベースのタガーモデルを用いた固有表現および概念の前処理により、Smatchスコアは1ポイント以上向上し、構造的な入力前処理による顕著な向上が示された。
• Smatch重み付けとラベル分離は顕著な寄与を示し、Smatch重み付けで0.5ポイント、ラベル分離によりより良い探索制御が可能になったことがアブレーションスタディで確認された。