[論文レビュー] Sentence Embedding Alignment for Lifelong Relation Extraction

Hong Wang, Wenhan Xiong+4 more|arXiv (Cornell University)|Mar 6, 2019

Topic Modeling参考文献 28被引用数 12

ひとこと要約

本論文は、タスク間で文の埋め込みを明示的に整合させる手法を用いて、継続的学習における深刻な忘却を軽減するメモリ効率の良い生涯関係抽出フレームワークを提案する。K-Meansに基づくサンプル選択を施したリプレイメモリと、表現空間の安定化を図る埋め込み整合モジュールを用いることで、FewRelおよびSimpleQuestionsベンチマークにおいて、最先端の生涯学習手法を著しく上回る性能を達成する。

ABSTRACT

Conventional approaches to relation extraction usually require a fixed set of pre-defined relations. Such requirement is hard to meet in many real applications, especially when new data and relations are emerging incessantly and it is computationally expensive to store all data and re-train the whole model every time new data and relations come in. We formulate such a challenging problem as lifelong relation extraction and investigate memory-efficient incremental learning methods without catastrophically forgetting knowledge learned from previous tasks. We first investigate a modified version of the stochastic gradient methods with a replay memory, which surprisingly outperforms recent state-of-the-art lifelong learning methods. We further propose to improve this approach to alleviate the forgetting problem by anchoring the sentence embedding space. Specifically, we utilize an explicit alignment model to mitigate the sentence embedding distortion of the learned model when training on new data and new relations. Experiment results on multiple benchmarks show that our proposed method significantly outperforms the state-of-the-art lifelong learning approaches.

研究の動機と目的

• 時間の経過に伴い新しい関係が出現する動的で現実的な設定において、継続的な関係抽出の課題に対処すること。
• 過去の全データを再トレーニングせずに、新しい関係タイプを段階的に学習する際のニューラルモデルにおける深刻な忘却を克服すること。
• すべての歴史的データを保存するのを避けることで、高いパフォーマンスを維持しながら、メモリ効率の良いアプローチを開発すること。
• 文の埋め込み空間に対する明示的な制御が、NLPにおける生涯学習のパフォーマンス向上に寄与するかどうかを調査すること。
• NLPタスクにおいて、複雑な正則化に基づく生涯学習手法よりも、単純なリプレイメモリに統合されたアプローチの優位性を実証すること。

提案手法

• 各段階的ステップで、保存済みデータと新規データの混合物を用いて再トレーニングする、リプレイメモリ機構（EMR）を用いる。
• サンプル効率を向上させるために、文の埋め込み空間におけるK-Meansクラスタリングを用いて、多様で代表的なサンプルを選択する。
• 新しいタスクの学習中に、以前に学習した文の表現の歪みを最小限に抑えるために、明示的な埋め込み整合モジュールを導入する。
• アーキテクチャの変更なしに、過去のタスクからのアンカー埋め込みと、現在のモデルにおけるそれらの対応する埋め込みとのL2距離を最小化することで、整合モデルをトレーニングする。
• 固定されたモデルアーキテクチャを維持し、現在のタスクの損失とリプレイサンプルにおける整合損失の組み合わせを用いて、確率的勾配降下法でパラメータを更新する。
• 推論時には、整合された埋め込み空間を用い、これまでに観測されたすべての関係に対して一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 単純なリプレイメモリにデータリプレイを組み合わせた手法が、EWC や GEM といった高度な正則化ベースの生涯学習手法を上回る性能を示せるか？
• RQ2 文の埋め込み空間の歪みが、継続的NLPタスクにおける深刻な忘却にどの程度寄与しているか？
• RQ3 過去のタスクの文の埋め込みを明示的に整合させることで、現在のタスクおよび以前に学習済みのタスクの両方のパフォーマンスが向上するか？
• RQ4 リプレイメモリのサンプリング戦略として、ランダム、iCaRL、K-Means の各選択が、生涯関係抽出のパフォーマンスに与える影響は？
• RQ5 モデルの複雑さを増大させず、アーキテクチャの変更なしに、軽量な整合モジュールが埋め込み空間を安定化できるか？

主な発見

• K-Meansサンプリングを用いた提案手法（EMR）は、FewRelおよびSimpleQuestionsベンチマークの両方で、EWC や GEM といった最先端の生涯学習手法を上回る性能を達成した。
• FewRelでは、EMRのみの平均正解率が0.620から、EMR + K-Meansの組み合わせで0.632に向上した。SimpleQuestionsでは、0.808から0.820に上昇した。
• モデルアーキテクチャを維持したまま埋め込み整合モジュールを削除した場合、性能に顕著な低下が見られた。これは、埋め込み空間の歪み低減に有効であることを確認する。
• K-Meansサンプリング戦略は、ランダムサンプリングおよびiCaRLベースのサンプリングを上回り、FewRelでは平均正解率が0.016向上、SimpleQuestionsでは0.012向上した。
• 両ベンチマークで最先端のパフォーマンスを達成しながら、計算効率を維持し、モデルの成長を回避した。
• アブレーションスタディの結果、埋め込み空間の歪みが忘却の主な要因であり、明示的な整合が全タスクにわたる一貫性あるパフォーマンスを実現するために不可欠であることが確認された。