[논문 리뷰] Incremental Prompting: Episodic Memory Prompt for Lifelong Event Detection

Min‐Qian Liu, Shiyu Chang외 1명|arXiv (Cornell University)|2022. 04. 15.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 연속적이고 학습 가능한 프롬프트를 각 이벤트 유형별로 사용하여 작업별 지식을 명시적으로 유지하는 새로운 인크리멘탈 프롬프팅 프레임워크인 에피소딕 메모리 프롬프트(EMP)를 제안한다. BERT의 가중치를 동결하고 이전에 학습한 프롬프트를 유지하면서 오직 프롬프트만 미세조정함으로써 EMP는 치명적 기억상실을 효과적으로 완화하고 MAVEN 벤치마크에서 최신 기술 성능을 달성하며, 평균 및 인크리멘탈 성능 모두에서 강력한 베이스라인을 능가한다.

ABSTRACT

Lifelong event detection aims to incrementally update a model with new event types and data while retaining the capability on previously learned old types. One critical challenge is that the model would catastrophically forget old types when continually trained on new data. In this paper, we introduce Episodic Memory Prompts (EMP) to explicitly preserve the learned task-specific knowledge. Our method adopts continuous prompt for each task and they are optimized to instruct the model prediction and learn event-specific representation. The EMPs learned in previous tasks are carried along with the model in subsequent tasks, and can serve as a memory module that keeps the old knowledge and transferring to new tasks. Experiment results demonstrate the effectiveness of our method. Furthermore, we also conduct a comprehensive analysis of the new and old event types in lifelong learning.

연구 동기 및 목표

• 새로운 데이터로 학습할 때 이전에 학습한 이벤트 유형에서 성능이 저하되는 클래스 인크리멘탈 이벤트 탐지에서 치명적 기억상실을 해결하기 위해.
• 모델 전체를 미세조정하는 대신 프롬프트 테이닝을 활용하여 파라미터 효율적인 수명 주기 학습 방법을 개발하기 위해.
• 학습 단계 간에 학습 가능한 프롬프트를 사용해 작업별 지식을 명시적으로 저장하고 전달하기 위해.
• 예시 저장소에 의존도를 줄이고 프롬프트 기반 메모리에 의한 지식 전이를 통해 일반화 및 강건성을 향상시키기 위해.
• 프롬프팅 기반 지속적 학습이 이전에 프롬프팅 기법으로 다뤄지지 않은 이벤트 탐지 작업에서 효과적인지 입증하기 위해.

제안 방법

• 새로운 이벤트 유형에 대해 이벤트 유형 이름으로 초기화된 연속적 프롬프트를 사용하여 스트림 형태의 인크리멘탈 작업에서 작업별 지식을 표현한다.
• 각 프롬프트는 예측을 안내하고 이벤트 언급 표현과 일치시키기 위해 최적화되는 학습 가능한 임베딩 벡터이다.
• 이벤트 언급의 유형별 분포를 반영하도록 유도함으로써 프롬프트와 모델 예측을 동시에 최적화하는 엔터글드 프롬프트 최적화(EPO) 메커니즘을 도입한다.
• 이전 작업의 소프트 레이블을 사용해 모델의 예측을 추가로 정규화하기 위해 지식 정복 기법을 적용하여 일반화 성능을 향상시킨다.
• 모델은 모든 이전에 학습한 프롬프트를 유지하여, 추론 시 작업 식별자가 필요 없이 지식 전이가 가능한 소프트 에피소딕 메모리를 형성한다.
• BERT의 가중치는 학습 전반에 걸쳐 동결되며, 오직 프롬프트 임베딩만 미세조정되어 파라미터 효율성과 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 연속적 프롬프트가 클래스 인크리멘탈 이벤트 탐지 환경에서 작업별 지식을 효과적으로 저장하고 전달하는 데 사용될 수 있는가?
• RQ2 제안된 에피소딕 메모리 프롬프팅(EMP) 프레임워크는 표준 미세조정 및 경험 재생 베이스라인에 비해 치명적 기억상실을 얼마나 효과적으로 완화하는가?
• RQ3 이벤트 유형 이름으로 프롬프트를 초기화하는 것이 인크리멘탈 학습 성능에 얼마나 기여하는가?
• RQ4 엔터글드 프롬프트 최적화와 지식 정복의 조합이 이전 작업의 성능 유지에 얼마나 효과적인가?
• RQ5 EMP는 예시 저장소 의존도를 줄이면서도 지속적 학습에서 높은 성능을 유지할 수 있는가?

주요 결과

• EMP는 MAVEN 벤치마크에서 다섯 개의 작업 순서에 걸쳐 평균 F1 스코어 60.26을 기록하며, 최고의 베이스라인(KT)을 크게 능가하고 강력한 인크리멘탈 학습 능력을 보였다.
• 제거 실험 결과, 프롬프트 초기화를 제거하면 평균 1.13 F1 포인트 성능 저하가 발생하여 효과적인 프롬프트 학습을 위해 초기화의 중요성을 확인했다.
• 엔터글드 프롬프트 최적화(EPO)를 제거하면 평균 1.24 F1 포인트 성능 저하가 발생하여 프롬프트와 예측의 동시 최적화가 지식 유지에 핵심적임을 입증했다.
• 지식 정복(KD) 기법은 평균 2.79 F1 포인트 향상 기여를 보이며, 기억상실 감소에 효과적임을 입증했다.
• 이산적 프롬프트를 연속적 프롬프트 대신 사용할 경우 평균 7.73 F1 포인트 성능 저하가 발생하여 이 설정에서 연속적 프롬프트가 딱딱한 프롬프트보다 더 효과적임을 증명했다.
• 클래스당 10개의 예시만으로도 EMP는 강력한 성능 유지를 보였으며, 표준 재생 방법에 비해 과적합 현상이 감소한 것으로 나타났다.