[論文レビュー] Incremental Prompting: Episodic Memory Prompt for Lifelong Event Detection

Min‐Qian Liu, Shiyu Chang+1 more|arXiv (Cornell University)|Apr 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本稿では、イベントタイプごとのタスク固有の知識を連続的で学習可能なプロンプトを用いて明示的に保持する、クラス増分イベント検出のための新しいインクリメンタルプロンプティングフレームワークであるエピソード的メモリプロンプト（EMP）を提案する。BERTの重みを固定し、過去に学習したプロンプトを保持したまま、プロンプトのみを微調整することで、災難的忘却を効果的に緩和し、MAVENベンチマークで最先端の性能を達成した。平均的および増分的性能の両面で、強力なベースラインを上回った。

ABSTRACT

Lifelong event detection aims to incrementally update a model with new event types and data while retaining the capability on previously learned old types. One critical challenge is that the model would catastrophically forget old types when continually trained on new data. In this paper, we introduce Episodic Memory Prompts (EMP) to explicitly preserve the learned task-specific knowledge. Our method adopts continuous prompt for each task and they are optimized to instruct the model prediction and learn event-specific representation. The EMPs learned in previous tasks are carried along with the model in subsequent tasks, and can serve as a memory module that keeps the old knowledge and transferring to new tasks. Experiment results demonstrate the effectiveness of our method. Furthermore, we also conduct a comprehensive analysis of the new and old event types in lifelong learning.

研究の動機と目的

• 新しいデータの学習時に以前に学習したイベントタイプの性能が低下する、クラス増分イベント検出における災難的忘却を解消すること。
• モデル全体の微調整を避けるパラメータ効率の良い生涯学習手法を開発し、代わりにプロンプトチューニングを活用すること。
• 学習の各段階でタスク固有の知識を明示的に保存・転送するために、学習可能なプロンプトを用いること。
• エキスナプルの保存に依存するのを減らし、プロンプトベースのメモリによる知識転送を可能にすることで、一般化性と耐性を向上させること。
• プロンプト技術を用いた継続的学習が、イベント検出という、これまでプロンプト技術が適用されていなかったタスクにおいて有効であることを示すこと。

提案手法

• 本手法は、各新しいイベントタイプのタスク固有の知識を表すために、イベントタイプ名で初期化された連続的プロンプトを用いる。
• 各プロンプトは、学習可能な埋め込みベクトルであり、トレーニング中にモデルの予測をガイドし、イベントメンチョンの表現と整合させるように最適化される。
• イベントメンチョンのタイプ固有の分布を反映させるように促すことで、プロンプトとモデルの予測を同時に最適化する「からみあいプロンプト最適化（EPO）」機構を導入する。
• 知識蒸留を適用して、過去のタスクからのソフトラベルを用いてモデルの予測をさらに正則化し、一般化性を向上させる。
• すべての過去に学習したプロンプトをタスク間で保持することで、推論時にタスク識別子を必要としないソフトエピソード的メモリを形成する。
• BERTのパラメータはトレーニング中常に固定され、プロンプト埋め込みのみが微調整されるため、パラメータ効率とスケーラビリティが保証される。

実験結果

リサーチクエスチョン

• RQ1 連続的プロンプトは、クラス増分イベント検出の文脈において、タスク固有の知識を効果的に保存・転送するために使用できるか？
• RQ2 提案されたエピソード的メモリプロンプティング（EMP）フレームワークは、標準的な微調整と経験再現ベースラインに比べて、災難的忘却をどの程度効果的に軽減できるか？
• RQ3 イベントタイプ名で初期化されたプロンプトが、増分学習における性能向上にどの程度寄与するか？
• RQ4 からみあいプロンプト最適化と知識蒸留の組み合わせは、古いタスクの性能をどの程度維持できるか？
• RQ5 EMPはエキスナプルの保存に依存するのを減らしながらも、継続的学習における高い性能を維持できるか？

主な発見

• EMPはMAVENベンチマークにおいて5つのタスク順列で平均F1スコア60.26を達成し、最良のベースライン（KT）を大きく上回り、強力な増分学習能力を示した。
• アブレーションスタディの結果、プロンプト初期化（EInit）を削除すると平均で1.13 F1ポイントの性能低下が生じ、効果的なプロンプト学習の重要性が確認された。
• からみあいプロンプト最適化（EPO）を削除すると平均で1.24 F1ポイントの低下が生じ、プロンプトと予測の同時最適化が知識保持に不可欠であることが示された。
• 知識蒸留（KD）を適用することで平均で2.79 F1ポイントのスコア向上が得られ、忘却の低減に有効であることが実証された。
• 離散的プロンプトを連続的プロンプトの代わりに使用すると、平均で7.73 F1ポイントの性能低下が生じ、この文脈では連続的プロンプトがハードプロンプトよりも優れていることが証明された。
• 1クラスあたり10個のエキスナプルしか使用しなくても、EMPはKTベースラインを上回り、標準的なリプレイ手法と比較して過学習が抑えられていた。