[논문 리뷰] Multi-Agent Distributed Lifelong Learning for Collective Knowledge Acquisition

Mohammad Rostami, Soheil Kolouri외 2명|arXiv (Cornell University)|2017. 09. 15.

Distributed Sensor Networks and Detection Algorithms인용 수 9

한 줄 요약

이 논문은 ADMM를 통해 지식 기반을 공유함으로써 중앙 집중식 조정이나 원시 데이터 공유 없이도 분산된 다중 에이전트가 협동하여 작업을 학습할 수 있도록 해주는 탈중앙화된 다중 에이전트 분산 수명 주기 학습 프레임워크 CoLLA를 제안한다. 이는 학습 속도와 점차적 성능 향상에 기여한다. CoLLA는 여러 MTL 벤치마크에서 단일 에이전트 및 비협력적 베이스라인보다 뛰어난 성능을 달성한다.

ABSTRACT

Lifelong machine learning methods acquire knowledge over a series of consecutive tasks, continually building upon their experience. Current lifelong learning algorithms rely upon a single learning agent that has centralized access to all data. In this paper, we extend the idea of lifelong learning from a single agent to a network of multiple agents that collectively learn a series of tasks. Each agent faces some (potentially unique) set of tasks; the key idea is that knowledge learned from these tasks may benefit other agents trying to learn different (but related) tasks. Our Collective Lifelong Learning Algorithm (CoLLA) provides an efficient way for a network of agents to share their learned knowledge in a distributed and decentralized manner, while preserving the privacy of the locally observed data. Note that a decentralized scheme is a subclass of distributed algorithms where a central server does not exist and in addition to data, computations are also distributed among the agents. We provide theoretical guarantees for robust performance of the algorithm and empirically demonstrate that CoLLA outperforms existing approaches for distributed multi-task learning on a variety of data sets.

연구 동기 및 목표

• 실제 환경에서 분산, 비공개 또는 공유가 곤란한 데이터를 포함하는 시나리오에서 단일 에이전트의 생명 주기 학습의 한계를 해결하기 위해.
• 중앙 집중식 조정 없이 데이터 프라이버시를 유지하면서도 네트워크 내 에이전트들이 공동으로 작업을 학습할 수 있도록 하기 위해.
• 에이전트 간에 온라인, 확장 가능하고 강건한 생명 주기 학습을 지원하는 분산 최적화 프레임워크를 개발하기 위해.
• 협동 지식 공유가 다양한 MTL 데이터셋에서 학습을 가속화하고 성능을 향상시킨다는 것을 경험적으로 검증하기 위해.

제안 방법

• 다중 에이전트 생명 주기 학습 문제를 매개변수 기반 접근 방식을 사용한 온라인 분산 다중 작업 최적화 문제로 수식화한다.
• 각 에이전트의 지식 기반을 작업 특화 원자들의 희소 조합으로 표현함으로써 학습된 표현의 전이를 가능하게 한다.
• 전역 최적화 문제를 개별 에이전트가 해결할 수 있는 국소 하위문제로 분해하기 위해 교대 방식의 다중 승수법(ADMM)을 사용한다.
• 온라인 및 분산 동작를 유지하기 위해 중첩 루프를 사용하여 점진적 학습과 공감 형성 기능을 제공한다.
• 원시 모델 파라미터가 아닌 지식 기반을 공유함으로써 지식 전이를 가능하게 하여 데이터 프라이버시를 유지한다.
• 에이전트들이 이웃 에이전트가 공유한 지식 기반을 바탕으로 자신의 지식 기반을 업데이트하는 탈중앙화된 통신 체계를 구현한다.

실험 결과

연구 질문

• RQ1 고립된 학습과 비교해 복수의 분산 에이전트 네트워크가 공동 지식 공유를 통해 더 나은 생명 주기 학습 성능을 달성할 수 있는가?
• RQ2 에이전트 간 통신 구조(그래프 구조)가 분산 생명 주기 학습에서 학습 속도와 성능에 어떤 영향을 미치는가?
• RQ3 협동 학습은 새로운 작업에서 수렴 속도를 빠르게 하고 초반 성능(점프스타트)을 향상시키는가?
• RQ4 제안된 알고리즘이 탈중앙화, 온라인, 프라이버시 보장 환경에서 강건한 성능과 수렴 보장을 유지할 수 있는가?

주요 결과

• CoLLA는 표준 MTL 벤치마크에서 ELLA(단일 에이전트 생명 주기 학습)와 GO-MTL 모두보다 학습 속도와 점차적 성능에서 뚜렷한 우월성을 보였다.
• 지뢰(land mine, LM), 런던 스쿨즈(London Schools, LS), 컴퓨터 설문조사(Computer Survey, CS), 얼굴 표정(Facial Expression, FE) 데이터셋에서 CoLLA는 각각 평균 성능 점수 6.87, 29.62, 51.44, 40.87을 기록하여 ELLA의 6.21, 29.30, 37.99, 38.69를 상회했다.
• 오프라인 CoLLA도 GO-MTL와 유사한 성능을 달성하여, 분산 MTL 알고리즘으로서의 효과성을 입증했다.
• 새로운 작업에서의 점프스타트 향상 효과는 초기 학습 단계에서 가장 두드러졌으며, 협동 지식 기반 공유의 이점이 확인되었다.
• 연결성이 높은 네트워크(예: 완전 그래프 또는 스타 그래프)에서는 학습 속도가 더 빠르게 나타나, 증가된 통신이 학습 속도 향상에 기여한다는 것을 시사했다.
• 다양한 데이터셋과 그래프 구조에서 온라인 및 오프라인 환경 모두에서 알고리즘이 강건한 수렴성과 확장 가능성을 보였다.