[논문 리뷰] Few-Shot Continual Active Learning by a Robot

Ali Ayub, Carter Fendley|arXiv (Cornell University)|2022. 10. 09.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 뇌가 새로운 물체 클래스를 소량의 레이블 예시에서 학습하면서 치명적인 잊힘을 방지할 수 있도록 하는 Few-Shot Continual Active Learning (FoCAL) 프레임워크를 제안한다. 이 프레임워크는 학습된 클래스를 표현하기 위해 가우시안 믹스처 모델(GMM)을 사용하고, 가짜 재생(pseudo-rehearsal)을 통해 메모리에 원본 데이터를 저장하지 않고도 과거 클래스를 재생하는 방식을 채택한다. 더불어 예측 엔트로피와 시점 일관성 지표를 활용해 인간 레이블링을 위해 가장 정보가 풍부한 미레이블링 샘플을 능동적으로 선택한다. 이 방법은 CORe-50에서 최신 기술(SOTA) 성능을 달성하며, 최소한의 인간 감시로 인간형 로봇에서 실생활 지속적 학습을 가능하게 한다.

ABSTRACT

In this paper, we consider a challenging but realistic continual learning (CL) problem, Few-Shot Continual Active Learning (FoCAL), where a CL agent is provided with unlabeled data for a new or a previously learned task in each increment and the agent only has limited labeling budget available. Towards this, we build on the continual learning and active learning literature and develop a framework that can allow a CL agent to continually learn new object classes from a few labeled training examples. Our framework represents each object class using a uniform Gaussian mixture model (GMM) and uses pseudo-rehearsal to mitigate catastrophic forgetting. The framework also uses uncertainty measures on the Gaussian representations of the previously learned classes to find the most informative samples to be labeled in an increment. We evaluate our approach on the CORe-50 dataset and on a real humanoid robot for the object classification task. The results show that our approach not only produces state-of-the-art results on the dataset but also allows a real robot to continually learn unseen objects in a real environment with limited labeling supervision provided by its user.

연구 동기 및 목표

• 레이블 데이터가 부족하고 인간 레이블링 비용이 높은 실생활 로봇 환경에서 지속적 물체 학습의 과제를 해결하기 위해.
• 이전 클래스의 원본 데이터를 저장하지 않고도 치명적인 잊힘을 완화하기 위해.
• 로봇이 레이블링을 위해 가장 정보가 풍부한 샘플을 선택할 수 있도록 스트리밍, 소량 레이블, 온라인 환경에서 능동 학습을 가능하게 하기 위해.
• 최소한의 인간 감시로 인간형 로봇에 실용적이고 확장 가능한 방법을 개발하기 위해.
• 미래의 FoCAL 연구를 위해 실제 로봇이 수집한 새로운 벤치마크 데이터셋을 공개하기 위해.

제안 방법

• 이 프레임워크는 이전에 학습된 각 물체 클래스를 균일한 가우시안 믹스처 모델(GMM)로 모델링하여 그 특징 분포를 표현한다.
• 기존 클래스의 GMM에서 생성된 합성 샘플을 사용해 가짜 재생(pseudo-rehearsal)을 구현함으로써 학습 중에 과거 클래스를 재생하고, 원본 데이터 저장을 피한다.
• 예측 엔트로피와 시점 일관성 지표를 활용해 GMM 표현 기반으로 예측 불확실성과 일관성을 평가하여 가장 정보가 풍부한 미레이블링 샘플을 선별하는 할당 함수를 사용한다.
• 모델은 각 증분마다 이전 클래스의 가짜 샘플과 새로 레이블링된 샘플의 조합을 기반으로 학습된다.
• 획득 및 분류 전에 미레이블링 이미지의 특징을 추출하기 위해 고정된 특징 추출기와 물체 검출기를 사용한다.
• 이전 클래스의 가짜 재생 데이터와 현재 증분의 레이블링된 샘플을 활용해 분류기를 점진적으로 업데이트한다.

실험 결과

연구 질문

• RQ1 지속적 학습 에이전트는 증분당 소량의 레이블 예시만으로 새로운 물체 클래스를 효과적으로 학습할 수 있는가?
• RQ2 원본 데이터를 저장하지 않고도 소량 레이블, 온라인 지속적 학습 환경에서 치명적인 잊힘을 어떻게 완화할 수 있는가?
• RQ3 예측 불확실성을 기반으로 한 능동 학습은 알려지지 않은 또는 새로운 클래스가 있는 지속적 학습 환경에 효과적으로 적용될 수 있는가?
• RQ4 기본 벤치마크 데이터셋과 비교했을 때, 제안된 방법은 실생활 로봇 적용에 얼마나 잘 일반화되는가?
• RQ5 최소한의 인간 레이블링으로 새로운 클래스를 학습하면서도 이전에 학습한 클래스의 성능을 유지할 수 있는가?

주요 결과

• 제안된 FoCAL 프레임워크는 CORe-50 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 소량 레이블, 지속적 능동 학습 환경에서 기존 지속적 학습 방법들을 크게 앞서 간다.
• GMM 기반 가짜 재생을 통해 치명적인 잊힘을 효과적으로 완화하여, 여러 증분을 거쳐도 이전에 학습한 클래스의 높은 정확도를 유지한다.
• 능동 학습 구성요소는 예측 불확실성과 정보가 풍부한 샘플을 효과적으로 식별하여 레이블링 노력은 줄이고 학습 효율은 향상시킨다.
• 이 프레임워크는 인간형 로봇(Pepper)이 최소한의 인간 레이블링으로 시간이 지남에 따라 많은 가정용 물체를 학습할 수 있도록 하여 실생활 적용 가능성을 입증한다.
• 저자들은 로봇이 수집한 새로운 벤치마크 데이터셋을 공개하였으며, 이는 향후 FoCAL 연구를 위한 실생활 내부 환경의 물체 이미지를 포함한다.
• 불확실성과 일관성 지표 덕분에 모델은 알려지지 않은 클래스를 효과적으로 식별하고 새로운 물체를 이전에 학습한 것으로 잘못 분류하는 것을 방지하는 등 뛰어난 강건성을 보였다.