[논문 리뷰] Learning to Learn Variational Semantic Memory

Xiantong Zhen, Yingjun Du외 4명|arXiv (Cornell University)|2020. 10. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 85인용 수 14

한 줄 요약

이 논문은 계층적 베이지안 프레임워크 내에서 과거 작업들로부터 확률적 의미 지식을 누적하고 추론할 수 있는 장기 외부 메모리 모듈인 변분 의미 메모리(VSM)를 제안한다. 의미 메모리 복구를 잠재 메모리 변수에 대한 변분 추론으로 공식화함으로써, VSM은 원칙적이고 작업에 적응 가능한 의미 프로토타입 추론을 가능하게 하며, 결정론적 벡터가 아닌 분포로 프로토타입을 모델링함으로써 네 가지 소수의 학습 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

In this paper, we introduce variational semantic memory into meta-learning to acquire long-term knowledge for few-shot learning. The variational semantic memory accrues and stores semantic information for the probabilistic inference of class prototypes in a hierarchical Bayesian framework. The semantic memory is grown from scratch and gradually consolidated by absorbing information from tasks it experiences. By doing so, it is able to accumulate long-term, general knowledge that enables it to learn new concepts of objects. We formulate memory recall as the variational inference of a latent memory variable from addressed contents, which offers a principled way to adapt the knowledge to individual tasks. Our variational semantic memory, as a new long-term memory module, confers principled recall and update mechanisms that enable semantic information to be efficiently accrued and adapted for few-shot learning. Experiments demonstrate that the probabilistic modelling of prototypes achieves a more informative representation of object classes compared to deterministic vectors. The consistent new state-of-the-art performance on four benchmarks shows the benefit of variational semantic memory in boosting few-shot recognition.

연구 동기 및 목표

• 소수의 학습 메타학습에서 단기 메모리의 한계를 해결하기 위해 과거 작업들로부터 일반적인 의미 지식을 누적하는 장기 메모리 모듈을 도입하기 위해.
• 결정론적 벡터가 아닌 확률적 분포로 클래스 프로토타입을 모델링하여 더 정보적인 표현을 가능하게 함으로써 소수의 학습 인식을 향상시키기 위해.
• 계층적 베이지안 프레임워크 내에서 변분 추론을 통해 메모리 복구 및 업데이트에 원칙적인 메커니즘을 제공하기 위해.
• 통합된 메모리에서 맥락적으로 관련된 의미 정보를 추출함으로써 새로운 작업에 효율적이고 적응적인 지식 전이를 가능하게 하기 위해.
• 장기적 의미 메모리가 다양한 벤치마크에서 소수의 학습 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 이 방법은 과거 작업들에서의 지원 세트의 특징 표현으로부터 유도된 특징 표현을 기반으로, 객체 카테고리의 의미 요약을 확률적 임베딩으로 저장하는 변분 의미 메모리(VSM) 모듈을 도입한다.
• 메모리 복구는 잠재 메모리 변수에 대한 변분 추론으로 공식화되어, 모델이 각 작업의 입력에 맞게 적합한 의미 지식을 추론할 수 있도록 한다.
• 모델은 추론 중에 관련 메모리 항목에 동적으로 주의를 기울이는 어텐션 메커니즘을 사용하여, 쿼리 콘텐츠에 기반한 적응형 추론을 가능하게 한다.
• 전체 시스템은 계층적 변분 추론을 통해 엔드 투 엔드로 훈련되며, 베이지안 프레임워크 내에서 메모리 복구, 프로토타입 추론, 모델 파라미터를 동시에 최적화한다.
• 메모리는 시간이 지남에 따라 점진적으로 업데이트되고 통합되어, catastrophic forgetting 없이 장기 지식 축적을 가능하게 한다.
• 프로토타입은 고정된 벡터가 아니라 분포(예: 가우시안)로 모델링되어, 저샷 환경에서 표현 능력과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 과거 작업들로부터 의미 지식을 축적하는 장기 메모리 모듈이 소수의 학습 성능을 향상시킬 수 있는가?
• RQ2 메타학습 환경에서 메모리 복구를 어떻게 원칙적이고 개별 작업에 적응 가능하게 만들 수 있는가?
• RQ3 소수의 학습에서 클래스 프로토타입을 확률적 분포로 모델링하는 것이 결정론적 벡터보다 더 나은 일반화를 이끌어낼 수 있는가?
• RQ4 잠재 메모리 변수에 대한 변분 추론이 관련 의미 지식의 효과적이고 효율적인 추론을 가능하게 하는가?
• RQ5 기존의 단기 메모리 기반 기법에 비해 제안된 변분 의미 메모리는 일반화 및 확장성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 변분 의미 메모리(VSM)는 miniImageNet, tieredImageNet, CIFAR-FS, FC100의 네 가지 벤치마크 데이터셋에서 모두 최신 기술 성능을 달성한다.
• miniImageNet(5-way 1-shot)에서 VSM은 깊은 특징 추출기를 사용하여 65.72%의 정확도를 기록했으며, 이는 이전 최신 기술(Tian et al. [70])을 0.90% 초월한다.
• tieredImageNet(5-way 1-shot)에서 VSM은 72.01%의 정확도를 기록했으며, 두 번째로 좋은 성능을 낸 방법(Tian et al. [70])을 0.49% 초월한다.
• CIFAR-FS(5-way 1-shot)에서 VSM은 63.42%의 정확도를 기록했으며, 두 번째로 좋은 성능을 낸 방법(R2D2)을 1.12% 초월한다.
• VSM에서 사용된 확률적 프로토타입은 결정론적 벡터에 비해 더 정보적이고 강건한 클래스 표현을 가능하게 한다.
• 제거 실험 결과는 계층적 변분 추론 메커니즘과 메모리 통합 과정이 모델의 성능 향상에 필수적임을 확인한다.