[논문 리뷰] MCML: A Novel Memory-based Contrastive Meta-Learning Method for Few Shot Slot Tagging

Hongru Wang, Zezhong Wang외 2명|arXiv (Cornell University)|2021. 08. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 7

한 줄 요약

이 논문은 샘플 잊힘 문제를 완화하기 위해 이전 에피소드의 레이블 표현을 기반으로 한 대조적 학습을 수행하는 메모리 기반 대조적 메타학습 방법 MCML을 제안한다. 이는 학습 시 메모리에서 학습하는 모듈과 테스트 시 메모리에서 적응하는 모듈을 통해 구현되며, SNIPS 및 NER 데이터셋에서 최신 기준 성능을 달성한다. 샘플 수가 증가할수록 일관된 성능 향상이 관찰된다.

ABSTRACT

Meta-learning is widely used for few-shot slot tagging in task of few-shot learning. The performance of existing methods is, however, seriously affected by extit{sample forgetting issue}, where the model forgets the historically learned meta-training tasks while solely relying on support sets when adapting to new tasks. To overcome this predicament, we propose the extbf{M}emory-based extbf{C}ontrastive extbf{M}eta- extbf{L}earning (aka, MCML) method, including extit{learn-from-the-memory} and extit{adaption-from-the-memory} modules, which bridge the distribution gap between training episodes and between training and testing respectively. Specifically, the former uses an explicit memory bank to keep track of the label representations of previously trained episodes, with a contrastive constraint between the label representations in the current episode with the historical ones stored in the memory. In addition, the \emph{adaption-from-memory} mechanism is introduced to learn more accurate and robust representations based on the shift between the same labels embedded in the testing episodes and memory. Experimental results show that the MCML outperforms several state-of-the-art methods on both SNIPS and NER datasets and demonstrates strong scalability with consistent improvement when the number of shots gets greater.

연구 동기 및 목표

• 메트릭 기반 메타학습에서 샘플 잊힘 문제를 해결하기 위해, 에피소드 간 일관된 레이블 표현을 유지하지 못하는 모델의 문제를 해결한다.
• 메타학습과 메타테스트 간 분포 격차를 극복하기 위해 명시적인 메모리 백에 저장된 이전 레이블 표현을 활용한다.
• 학습에서 메모리에서 학습하고, 메모리에서 적응하는 메커니즘을 결합하여 모델의 강건성과 확장성을 향상시킨다.
• 다른 에피소드에서 동일한 레이블의 표현 일관성을 향상시키고, 서로 다른 레이블 간의 특이성을 강화한다.
• 샘플 수가 증가할수록 소수의 샘플로 태깅 벤치마크에서 뛰어난 성능을 달성한다.

제안 방법

• 학습에서 메모리에서 학습하는 모듈은 이전에 훈련된 에피소드의 레이블 표현을 저장하는 명시적 메모리 백을 유지한다.
• 현재 에피소드의 레이블 표현과 메모리 백에 저장된 표현 간에 대조 손실을 적용하여 의미적으로 유사한(긍정적) 샘플은 가깝게, 다를 수 있는(부정적) 샘플은 멀리 떼어지도록 한다.
• 테스트 에피소드의 쿼리 표현을 메모리 기반 레이블 표현과 유사도 기반으로 정렬하기 위해 가속도를 조절하는 가속도 계수를 사용한다.
• 가속도 계수를 통해 테스트 시 입력 특징과 메모리 기반 레이블 기준점 간의 균형을 조절함으로써 분포 이탈 상황에서도 강건한 적응이 가능하다.
• 모델에 종속되지 않으며 기존의 메트릭 기반 메타학습 프레임워크에 통합되어 시퀀스 태깅 작업에 적용될 수 있다.
• 메타학습 동안 대조 학습을 통해, 메타테스트 동안 적응형 특징 정제를 통해 종합적으로 훈련된다.

실험 결과

연구 질문

• RQ1 메트릭 기반 메타학습에서 소수의 샘플로 태깅하는 데 있어 샘플 잊힘 문제를 어떻게 줄일 수 있는가?
• RQ2 이전 레이블 표현의 메모리 백이 에피소드 간 표현 일관성 향상에 얼마나 기여하는가?
• RQ3 메모리에서 적응하는 메커니즘이 메타학습과 메타테스트 간의 분포 격차를 어떻게 완화하는가?
• RQ4 학습에서 메모리에서 학습하고, 메모리에서 적응하는 메커니즘의 조합이 샘플 수 증가에 따라 확장 가능한 성능 향상을 이끌 수 있는가?
• RQ5 메모리에서 적응하는 모듈의 가속도 계수 선택에 따라 성능가 얼마나 민감한가?

주요 결과

• MCML은 SNIPS 및 NER 데이터셋에서 가장 강력한 베이스라인(L-ProtoNet+CDT+VPB)을 초월하며, 모든 샘플 수 설정에서 일관된 F1 점수 향상을 보였다.
• 학습에서 메모리에서 학습하는 모듈은 샘플 수가 증가할수록 점점 더 중요해지며, 더 많은 레이블 데이터가 제공될수록 표현의 전이 능력이 향상됨을 시사한다.
• 메모리에서 적응하는 모듈은 도메인에 민감한 성능을 보이며, 'Pl', 'Se', 'Cr'와 같이 더 많은 레이블 겹침이 있는 도메인에서 더 큰 성과 향상을 보였다.
• t-SNE 시각화 결과, MCML이 메타학습과 메타테스트 단계 간 표현 이동을 줄이고, 유사한 레이블 표현(B-object_type 및 I-object_type 등)을 임베딩 공간에서 더 가깝게 만든다.
• 제거 실험 결과, 두 모듈을 결합할 경우 가장 뛰어난 성능을 기록하였으며, 대조 제약이 샘플 잊힘을 크게 줄이는 데 기여하였다.
• 성능 향상이 샘플 수가 1에서 20으로 증가함에 따라 지속되고 오히려 증가함을 보여, 강력한 확장성을 입증하였다.