[논문 리뷰] Sentence Embedding Alignment for Lifelong Relation Extraction

Hong Wang, Wenhan Xiong외 4명|arXiv (Cornell University)|2019. 03. 06.

Topic Modeling참고 문헌 28인용 수 12

한 줄 요약

이 논문은 과거 작업의 문장 표현을 명시적으로 정렬함으로써 치명적인 잊음 문제를 완화하는 메모리 효율적인 생애주기 관계 추출 프레임워크를 제안한다. K-평균 기반 샘플 선택과 표현 공간의 안정화를 위한 임베딩 정렬 모듈을 갖춘 메모리 재생 기반 기법을 통해, FewRel 및 SimpleQuestions 벤치마크에서 최신 기술보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Conventional approaches to relation extraction usually require a fixed set of pre-defined relations. Such requirement is hard to meet in many real applications, especially when new data and relations are emerging incessantly and it is computationally expensive to store all data and re-train the whole model every time new data and relations come in. We formulate such a challenging problem as lifelong relation extraction and investigate memory-efficient incremental learning methods without catastrophically forgetting knowledge learned from previous tasks. We first investigate a modified version of the stochastic gradient methods with a replay memory, which surprisingly outperforms recent state-of-the-art lifelong learning methods. We further propose to improve this approach to alleviate the forgetting problem by anchoring the sentence embedding space. Specifically, we utilize an explicit alignment model to mitigate the sentence embedding distortion of the learned model when training on new data and new relations. Experiment results on multiple benchmarks show that our proposed method significantly outperforms the state-of-the-art lifelong learning approaches.

연구 동기 및 목표

• 시간이 지남에 따라 새로운 관계가 지속적으로 발생하는 동적인 실세계 환경에서 지속적인 관계 추출의 과제를 해결한다.
• 이전 데이터를 다시 학습하지 않고 새로운 관계 유형을 점진적으로 학습할 때 신경망 모델에서 발생하는 치명적인 잊음 문제를 극복한다.
• 모든 이력 데이터를 저장하지 않으면서도 이전 작업에서 높은 성능을 유지할 수 있는 메모리 효율적인 접근법을 개발한다.
• 문장 임베딩 공간에 대한 명시적 제어가 자연어 처리 분야의 생애주기 학습 성능 향상에 기여하는지 조사한다.
• 복잡한 정규화 기반 생애주기 학습 방법보다 단순한 메모리 재생 기반 기법이 자연어 처리 작업에서 더 뛰어난 성능을 보임을 입증한다.

제안 방법

• 기존 작업 데이터의 부분집합을 저장하고, 각 점진적 단계에서 저장된 데이터와 새로운 데이터의 조합으로 재학습하는 메모리 재생 기반 기법(EMR)을 사용한다.
• 샘플 효율성을 향상시키기 위해 문장 임베딩 공간에서 K-평균 클러스터링을 적용하여 다양하고 대표적인 샘플을 선별한다.
• 새로운 작업 학습 중에 이전에 학습한 문장 표현의 왜곡을 최소화하기 위해 명시적인 임베딩 정렬 모듈을 도입한다.
• 이전 작업의 앵커 임베딩과 현재 모델에서의 대응 임베딩 간의 L2 거리를 최소화함으로써 정렬 모델을 학습한다.
• 고정된 모델 아키텍처를 유지하고, 현재 작업의 손실과 재생 샘플에 대한 정렬 손실을 조합한 손실 함수를 사용해 확률적 경사 하강법으로 파라미터를 갱신한다.
• 추론 시 정렬된 임베딩 공간을 활용하여 이전에 관측한 모든 관계에 대해 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 단순한 메모리 재생 기반 기법이 EWC 및 GEM와 같은 고급 정규화 기반 생애주기 학습 방법보다 생애주기 관계 추출에서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 문장 임베딩 공간의 왜곡이 지속적인 자연어 처리 작업에서 치명적인 잊음 현상에 얼마나 기여하는가?
• RQ3 이전 작업의 문장 임베딩을 명시적으로 정렬하면 현재 작업과 이전에 관측한 작업 양쪽에서 모델 성능이 향상되는가?
• RQ4 메모리 샘플링 전략으로서 랜덤, iCaRL, K-평균 중 어떤 것이 생애주기 관계 추출 성능에 가장 큰 영향을 미치는가?
• RQ5 모델 복잡도를 증가시키거나 아키텍처 변경 없이도 경량 정렬 모듈이 임베딩 공간을 안정화시킬 수 있는가?

주요 결과

• K-평균 샘플링을 적용한 제안된 메모리 재생 기법(EMR)이 FewRel 및 SimpleQuestions 벤치마크에서 EWC 및 GEM와 같은 최신 기술보다 뛰어난 성능을 보였다.
• FewRel에서 모든 관측 작업의 평균 정확도는 EMR 전용일 경우 0.620에서 EMR + K-평균을 적용한 경우 0.632로 상승했고, SimpleQuestions에서는 0.808에서 0.820으로 향상되었다.
• 모델 아키텍처는 유지한 채 임베딩 정렬 모듈을 제거한 경우 성능에 심각한 하락이 발생하여, 이는 정렬 모듈이 임베딩 공간 왜곡을 줄이는 데 효과적이라는 것을 확인한다.
• K-평균 샘플링 전략이 랜덤 샘플링 및 iCaRL 기반 샘플링보다 우수했으며, FewRel에서 평균 정확도가 0.016 향상되었고, SimpleQuestions에서는 0.012 향상되었다.
• 모델 성장 없이도 계산 효율성을 유지하면서 두 벤치마크에서 최신 기술 성능을 달성하였다.
• 제거 실험 결과, 임베딩 공간 왜곡이 잊음의 주요 원인임을 확인하였고, 일관된 성능 유지를 위해 명시적 정렬이 필수적임을 입증하였다.