[논문 리뷰] Federated Reconnaissance: Efficient, Distributed, Class-Incremental Learning

Sean M. Hendryx, Dharma Raj KC외 2명|arXiv (Cornell University)|2021. 08. 31.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 클라이언트가 독립적으로 새로운 클래스를 학습하고 프로토타입 벡터를 통해 효율적으로 지식을 공유하는 분산형, 클래스 증분 학습을 위한 프레임워크인 피어드 레콘세프션(federated reconnaissance)을 소개한다. 온라인 프로토타입 평균화를 적용한 프로토타입 네트워크는 오미그랏(omniglot)에서 22% 이상, 미니-이미지넷(mini-ImageNet)에서 33% 이상 뛰어난 성능을 보이며, 기존의 복잡한 지속적 학습 방법들을 능가한다. 이는 기능 벡터 통신이 기울기 기반 튜닝 없이도 강건하고, 저비용이며 정확한 분산 지속적 학습을 가능하게 한다.

ABSTRACT

We describe federated reconnaissance, a class of learning problems in which distributed clients learn new concepts independently and communicate that knowledge efficiently. In particular, we propose an evaluation framework and methodological baseline for a system in which each client is expected to learn a growing set of classes and communicate knowledge of those classes efficiently with other clients, such that, after knowledge merging, the clients should be able to accurately discriminate between classes in the superset of classes observed by the set of clients. We compare a range of learning algorithms for this problem and find that prototypical networks are a strong approach in that they are robust to catastrophic forgetting while incorporating new information efficiently. Furthermore, we show that the online averaging of prototype vectors is effective for client model merging and requires only a small amount of communication overhead, memory, and update time per class with no gradient-based learning or hyperparameter tuning. Additionally, to put our results in context, we find that a simple, prototypical network with four convolutional layers significantly outperforms complex, state of the art continual learning algorithms, increasing the accuracy by over 22% after learning 600 Omniglot classes and over 33% after learning 20 mini-ImageNet classes incrementally. These results have important implications for federated reconnaissance and continual learning more generally by demonstrating that communicating feature vectors is an efficient, robust, and effective means for distributed, continual learning.

연구 동기 및 목표

• 클라이언트가 점진적으로 새로운 클래스를 관찰하고 재학습 없이 지식을 공유해야 하는 실제 시스템에서의 분산형 지속적 학습 도전 과제를 해결하기 위해.
• 적응된 미니-이미지넷 및 옴니글랏 벤치마크를 사용하여 피어드 레콘세프션을 위한 확장 가능한 평가 프레임워크를 제안하기 위해.
• 프로토타입 네트워크와 효율적인 지식 융합을 활용하여 분산 지속적 학습을 평가하고 강력한 베이스라인을 수립하기 위해.
• 기울기 기반 방법보다 기능 프로토타입 통신이 치명적 기억 상실을 최소화하는 데 더 효과적인지 입증하기 위해.
• 온라인 평균화된 프로토타입이 메모리와 통신 오버헤드를 최소화하면서도 높은 정확도를 유지할 수 있는지 보여주기 위해.

제안 방법

• 프레임워크는 클라이언트가 점진적으로 클래스를 학습하고 오직 프로토타입 벡터만 공유하는 미니-이미지넷과 옴니글랏 기반의 피어드 레콘세프션 벤치마크를 사용한다.
• 프로토타입 네트워크는 온라인 평균화를 통해 임베딩을 학습하고 클래스 프로토타입을 계산하도록 수정되어, 기울기 업데이트와 초모수 조정을 피한다.
• 지식 융합은 모든 클라이언트의 프로토타입 벡터를 평균화하여 수행되며, 이는 공유 모델이 이전에 본 모든 클래스를 인식할 수 있도록 한다.
• 학습 효율성과 기억 유지 능력을 측정하기 위해 전진 및 후진 전이 정확도를 평가한다.
• 사전학습 중 k-샷 데이터 증강은 다양한 k 값에서 프로토타입 네트워크 성능을 향상시킨다.
• 온라인 프로토타입 계산에서 발생하는 수치 안정성 문제는 미미한 정확도 저하의 원인이 되며, 향후 강건한 수치 방법 개선이 필요하다고 제안한다.

실험 결과

연구 질문

• RQ1 간단한 프로토타입 네트워크에 온라인 프로토타입 평균화를 적용할 경우, 복잡한 지속적 학습 알고리즘보다 분산형 클래스 증분 환경에서 더 뛰어난 성능을 내는가?
• RQ2 분산 지속적 학습에서 프로토타입을 통한 기능 벡터 통신이 파rameter 공유나 기울기 기반 지식 전달 방식보다 얼마나 효과적인가?
• RQ3 온라인 평균화된 프로토타입이 정확도를 유지하면서도 메모리와 통신 오버헤드를 얼마나 최소화할 수 있는가?
• RQ4 클라이언트가 각 클래스당 5샷만 볼 경우, 프로토타입 공유를 통한 집단 학습이 전진 및 후진 전이 성과를 유도할 수 있는가?
• RQ5 왜 낮은 용량임에도 불구하고 더 큰 ResNet-18보다 4층 컨볼루션 모델이 이 설정에서 더 뛰어난 성능을 내는가?

주요 결과

• 온라인 프로토타입 평균화를 적용한 4층 프로토타입 네트워크는 옴니글랏에서 600개의 클래스를 학습한 후 최신 기술(SOTA) 방법보다 22% 이상 높은 정확도를 달성했다.
• 미니-이미지넷 벤치마크에서 동일한 방법은 20개의 클래스를 점진적으로 학습한 후 정확도를 33% 이상 향상시켜 복잡한 베이스라인을 크게 능가했다.
• 온라인 평균화된 프로토타입은 부동소수점 정밀도 부족과 치명적 취소 현상으로 인한 수치 불안정성으로 인해 약간의 정확도 저하가 발생했으며, 이는 통계적으로 유의미한 감소였다.
• 프로토타입 네트워크 접근 방식은 동시에 새로운 클래스에서의 정확도 향상과 함께 치명적 기억 상실을 효과적으로 억제했으며, 전진 및 후진 전이가 잘 이루어지는 것을 입증했다.
• ResNet-18은 사전학습 데이터에 과적합되어, 낮은 용량임에도 불구하고 더 단순한 4층 모델이 이 작업에 더 효과적인 것으로 나타났다.
• 피어드 프로토타입 네트워크는 집단 상승을 가능하게 했다: 병렬로 학습하는 여러 클라이언트가 프로토타입을 공유함으로써, 각각 5샷만으로도 공유된 점차 커지는 클래스 집합에 대해 전체 정확도가 향상되었다.