[논문 리뷰] Distributed Learning: Sequential Decision Making in Resource-Constrained Environments

Udari Madhushani, Naomi Ehrich Leonard|arXiv (Cornell University)|2020. 04. 13.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 4

한 줄 요약

이 논문은 전체 통신이 비실용적인 자원 제약 환경에서 분산 다중 손잡이 밴딧 학습을 위한 부분적 통신 프로토콜을 제안한다. 이 프로토콜은 탐색 동작 동안에만 정보를 전송하여 전체 통신과 동일한 성능 순서를 달성하면서도 통신 비용을 O(log T)로 감소시킨다. 이는 데이터 전송을 최소화하면서도 그룹 성능을 훼손하지 않기 때문에 자원 제약 환경에서 비용 효율적이고 확장 가능한 학습을 가능하게 한다.

ABSTRACT

We study cost-effective communication strategies that can be used to improve the performance of distributed learning systems in resource-constrained environments. For distributed learning in sequential decision making, we propose a new cost-effective partial communication protocol. We illustrate that with this protocol the group obtains the same order of performance that it obtains with full communication. Moreover, we prove that under the proposed partial communication protocol the communication cost is $O(\log T)$, where $T$ is the time horizon of the decision-making process. This improves significantly on protocols with full communication, which incur a communication cost that is $O(T)$. We validate our theoretical results using numerical simulations.

연구 동기 및 목표

• 전체 통신이 비실용적인 자원 제약 환경에서 분산 학습을 위한 비용 효율적인 통신 전략을 개발하기 위해.
• 그룹 성능을 저하시키지 않으면서 순차적 결정 문제 시스템의 통신 오버헤드를 줄이기 위해.
• 전체 통신과 동일한 성능를 유지하면서 데이터 전송을 최소화하는 부분적 통신 프로토콜을 설계하기 위해.
• 탐색 동작 동안에만 정보를 공유하는 프로토콜을 분석하고 검증하기 위해. 이는 이용 기반 및 탐색 기반 통신의 차이를 활용한다.
• 탐색 기반 통신이 전체 통신과 동일한 성능 순서를 달성하면서도 통신 비용을 극적으로 감소시킬 수 있음을 보여주기 위해.

제안 방법

• 에이전트가 하위 최적 또는 불확실한 옵션을 선택할 때만 정보 공유를 허용하는 부분적 통신 프로토콜을 제안한다. 이는 탐색 동작로 정의된다.
• 스토케스틱 보상 하에서 순차적 결정 문제를 모델링하기 위해 다중 손잡이 밴딧 프레임워크를 사용한다. 에이전트는 누적 보상을 최대화하기 위해 행동을 선택한다.
• 통신 비용을 메시지 총 수로 정의한다. 전체 통신은 O(T) 비용을 가지며, 제안된 프로토콜은 O(log T)의 기대 비용을 달성한다.
• 탐색과 이용의 균형을 이끄는 샘플링 규칙(정의 1)을 도입하며, 통신은 오직 탐색 동작 중에만 발생한다.
• 성능 지표로는 기대 누적 회귀를 사용한다. 이는 회귀를 최소화하는 것이 그룹 보상을 최대화하는 것과 동일하다.
• 가우시안 보상 분포와 완전한 통신 그래프를 가진 조건에서 100명의 에이전트, 10개의 옵션, 1000개의 시간 단위로 수치 시뮬레이션을 수행하여 프로토콜을 검증한다.

실험 결과

연구 질문

• RQ1 분산 학습에서 전체 통신과 동일한 성능 순서를 달성하면서도 통신 비용을 크게 줄일 수 있는 부분적 통신 프로토콜이 존재하는가?
• RQ2 탐색 동작 동안에만 정보를 공유하는 프로토콜의 통신 비용은 얼마이며, 시간 수평 T에 따라 어떻게 증가하는가?
• RQ3 성능 및 통신 비용 측면에서 탐색 기반 통신은 전체 통신과 이용 기반 통신에 비해 어떻게 비교되는가?
• RQ4 탐색 동작 동안에만 통신을 제한함으로써 순차적 결정 문제 시스템에서 그룹 성능를 유지하면서 데이터 전송을 줄일 수 있는가?
• RQ5 오직 탐색 기반 공유에 의존하는 통신 프로토콜이 자원 제약이 있는 분산 밴딧 환경에서 높은 성능를 유지할 수 있는가?

주요 결과

• 제안된 탐색 기반 통신 프로토콜은 전체 통신과 동일한 성능 순서를 달성하며, 기대 누적 회귀는 유사한 수준으로 유한하게 유지된다.
• 제안된 프로토콜 하에서의 기대 통신 비용은 O(log T)이며, 전체 통신의 O(T) 비용에 비해 극적으로 향상되었다.
• 수치 시뮬레이션 결과, 탐색 기반 통신은 전체 통신 대비 에이전트당 통신 비용을 수개의 주기로 감소시키며, 거의 동일한 성능를 유지한다.
• 이용 기반 통신과 통신 없음의 경우 성능가 훨씬 열 劣하므로, 이용 기반 통신은 전체 통신과 유사한 통신 비용을 유발한다.
• 프로토콜은 오직 탐색 중에만 정보를 공유하는 것으로도 높은 그룹 성능를 달성하는 데 충분함을 입증하며, 이론적 비용-성능 트레이드오프를 검증한다.
• 결과는 탐색 중에만 통신을 수행하는 것이 효율적인 정보 공유를 가능하게 하며, 이는 장수평, 자원 제약 환경에서의 학습 시스템에 실용적임을 확인한다.