[논문 리뷰] Continual Learning for Sentence Representations Using Conceptors

Tianlin Liu, Lyle Ungar외 1명|arXiv (Cornell University)|2019. 04. 18.

Topic Modeling참고 문헌 24인용 수 7

한 줄 요약

이 논문은 순차적인 코퍼스에서 선형 문장 인코더를 점진적으로 업데이트할 수 있도록 컨셉터를 사용하는 지속적 학습 프레임워크를 제안한다. 코퍼스에 종속되지 않는 특징으로 초기화하고, 컨셉터 행렬에 대한 부울 연산을 적용함으로써, 이 방법은 치명적인 잊음 현상을 억제하고, 처음부터 학습하는 것보다 의미적 텍스트 유사도 작업에서 뛰어난 성능을 달성한다. 일부 경우에서는 제로샷 기반선을 초월하기도 한다.

ABSTRACT

Distributed representations of sentences have become ubiquitous in natural language processing tasks. In this paper, we consider a continual learning scenario for sentence representations: Given a sequence of corpora, we aim to optimize the sentence encoder with respect to the new corpus while maintaining its accuracy on the old corpora. To address this problem, we propose to initialize sentence encoders with the help of corpus-independent features, and then sequentially update sentence encoders using Boolean operations of conceptor matrices to learn corpus-dependent features. We evaluate our approach on semantic textual similarity tasks and show that our proposed sentence encoder can continually learn features from new corpora while retaining its competence on previously encountered corpora.

연구 동기 및 목표

• 순차적으로 도착하는 학습 데이터로 인해 동적인 NLP 환경에서 지속적인 문장 표현 학습의 과제를 해결하기 위해.
• 결합된 코퍼스에서 다시 처음부터 학습하는 방식으로 인해 발생하는 치명적인 잊음 현상을 해결하기 위해.
• 초기화를 위한 어떤 학습 코퍼스도 필요로 하지 않고 제로샷 문장 표현 학습을 가능하게 하기 위해.
• 새로운 코퍼스로부터 새로운 특징을 학습하면서도 이전에 본 코퍼스에서의 성능을 유지할 수 있는 방법을 개발하기 위해.
• 의미적 텍스트 유사도 벤치마크를 사용하여 컨셉터 기반 적응이 지속적 학습 시나리오에서 얼마나 효과적인지 입증하기 위해.

제안 방법

• 학습 코퍼스 없이도 의미 있는 문장 표현을 생성할 수 있도록, 코퍼스에 종속되지 않는 특징으로 문장 인코더를 초기화한다.
• 코퍼스에 특화된 특징을 표현하기 위해 컨셉터 행렬을 사용하고, 새로운 코퍼스 간에 부울 연산(예: 교차, 합집합)을 통해 이를 업데이트한다.
• 문장 벡터를 단어 벡터의 가중 평균으로 계산하고, 학습된 공통된 논의 방향에서 이를 투영하는 방식으로 수정된 SIF 유사 프레임워크를 적용한다.
• 각 새로운 코퍼스에서 유도된 컨셉터 행렬을 사용해 공통된 논의 방향을 업데이트함으로써, 매트릭스 연산을 통해 과거 지식을 유지한다.
• 저항형 컴퓨팅에서 유래한 매트릭스 컨셉터를 활용해, 전체 재학습 없이도 효율적이고 점진적인 적응을 가능하게 한다.
• 기준선 방법과의 일관된 비교를 위해, α=1 및 a=0.001(기존 SIF와 동일)과 같은 초모수를 사용한다.

실험 결과

연구 질문

• RQ1 학습 데이터가 전혀 없이도 문장 인코더를 초기화하여 의미 있는 문장 표현을 생성할 수 있는가?
• RQ2 기존에 본 데이터의 성능를 유지하면서도 새로운 코퍼스로 선형 문장 인코더를 점진적으로 업데이트할 수 있는가?
• RQ3 컨셉터 기반 지속적 학습의 성능은 결합된 코퍼스에서 처음부터 학습하는 것과 비교해 어떻게 되는가?
• RQ4 순차적 학습 시나리오에서 제안된 방법이 치명적인 잊음 현상에 얼마나 효과적으로 저항하는가?
• RQ5 컨셉터를 사용한 제로샷 초기화가, 아직 본 적 없는 코퍼스에서 피지컬 튜닝 또는 재학습된 모델보다 성능이 뛰어나게 되는가?

주요 결과

• 추가로 코퍼스가 더해질수록, 처음부터 학습하는 것보다 이전에 본 코퍼스에서 더 뛰어난 성능을 보이며, 치명적인 잊음 현상에 대한 저항력을 입증한다.
• 시간 평균 성능 기준으로 볼 때, 처음부터 학습하는 SIF 기반선의 성능을 대부분의 코퍼스에서 초월하며, 어떤 학습 코퍼스도 필요로 하지 않는 강력한 일반화 능력을 보여준다.
• 의미적 텍스트 유사도 작업에서, CA 인코더는 모든 코퍼스에서 높은 피어슨 상관계수(PCC)를 유지하며 시간이 지남에 따라 성능 저하가 최소화된다.
• 처음부터 학습하는 SIF 기반선은 새로운 코퍼스가 추가될수록 성능이 뚜렷이 저하되는 반면, CA 인코더는 오직 약간의 성능 저하만 보인다.
• 컨셉터 행렬에 대한 부울 연산을 통해 코퍼스에 종속된 특징을 효과적으로 학습하며, 전체 재학습 없이도 점진적 적응이 가능하다.
• 뉴스, 포럼, 트윗, 캡션, 워드넷 등 다양한 코퍼스에서의 평가 결과, 시간 경과 및 평균 성능 평가 모두에서 이 방법이 뛰어난 강건성을 보였다.