[논문 리뷰] Cooperative Online Learning: Keeping your Neighbors Updated

Nicolò Cesa‐Bianchi, Tommaso Cesari외 1명|arXiv (Cornell University)|2019. 01. 23.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 8

한 줄 요약

이 논문은 에이전트가 이웃과 피드백을 공유하는 네트워크 기반 비동기적 환경에서의 협동 온라인 학습을 연구한다. 확률적 활성화 조건에서는 무지한 에이전트(네트워크 구조를 무시하는 에이전트)가 독립 수 $\alpha$에 비례하는 최적의 리그레트 $\sqrt{\alpha T}$ 를 달성하며, 이는 $\alpha$가 네트워크의 독립 수임을 가리킨다. 반면, 악성 활성화 조건에서는 네트워크 지식이 필수적이며, 클리크 커버링 구조를 활용함으로써 $\mathcal{O}(\sqrt{\overline{\chi}T})$의 리그레트 한계를 달성한다. 여기서 $\overline{\chi}$는 클리크 커버링 수이다.

ABSTRACT

We study an asynchronous online learning setting with a network of agents. At each time step, some of the agents are activated, requested to make a prediction, and pay the corresponding loss. The loss function is then revealed to these agents and also to their neighbors in the network. Our results characterize how much knowing the network structure affects the regret as a function of the model of agent activations. When activations are stochastic, the optimal regret (up to constant factors) is shown to be of order $\sqrt{αT}$, where $T$ is the horizon and $α$ is the independence number of the network. We prove that the upper bound is achieved even when agents have no information about the network structure. When activations are adversarial the situation changes dramatically: if agents ignore the network structure, a $Ω(T)$ lower bound on the regret can be proven, showing that learning is impossible. However, when agents can choose to ignore some of their neighbors based on the knowledge of the network structure, we prove a $O(\sqrt{\overlineχ T})$ sublinear regret bound, where $\overlineχ \ge α$ is the clique-covering number of the network.

연구 동기 및 목표

• 비동기적이고 분산된 온라인 학습에서 부분적인 에이전트 활성화 조건 하에서 네트워크 구조가 리그레트에 미치는 영향을 이해하는 것.
• 협동 온라인 학습에서 확률적 활성화와 악성 활성화 메커니즘 간의 성능 격차를 분석하는 것.
• 에이전트가 네트워크 토폴로지 지식 없이도 하위선형 리그레트를 달성할 수 있는지 조사하는 것.
• 악성 활성화 조건 하에서 하위선형 리그레트를 달성하기 위해 필요한 최소한의 구조적 지식을 규명하는 것.
• 독립 수 $\alpha$와 클리크 커버링 수 $\overline{\chi}$와 같은 그래프 파라미터를 기반으로 타당한 리그레트 한계를 설정하는 것.

제안 방법

• 에이전트는 시간에 따라 변하는 정규화자 $g_t = \frac{\sqrt{t}}{\eta}g$ 를 사용하는 온라인 미러 디센트(OMD) 알고리즘을 실행한다.
• 확률적 조건에서는 에이전트가 네트워크 인터페이스를 무지하게 사용하여, 이웃이나 그래프 구조를 알지 못한 채 피드백을 처리한다.
• 악성 조건에서는 네트워크의 클리크 커버를 기반으로 한 구조화된 인터페이스를 사용하여 다른 클리크의 피드백을 무시한다.
• 리그레트는 시간 단위를 클리크로 분해하고, 표준 OMD 리그레트 한계를 활용해 각 클리크의 누적 리그레트를 근사함으로써 분석된다.
• 분석은 정규화자의 강한 볼록성과 손실 함수의 서그레디언트에 대한 쌍대 노름 한계를 활용한다.
• 핵심 기법은 젠센의 부등식을 사용해 클리크 간 총 리그레트를 근사함으로써 $\sqrt{\overline{\chi}T}$ 규모의 스케일링을 도출하는 것이다.

실험 결과

연구 질문

• RQ1 에이전트가 네트워크 구조 지식 없이도 비동기적이고 네트워크 기반 온라인 학습 환경에서 하위선형 리그레트를 달성할 수 있는가?
• RQ2 네트워크의 독립 수 $\alpha$는 확률적 활성화 조건 하에서 최적 리그레트와 어떻게 관련이 있는가?
• RQ3 왜 악성 활성화 조건에서는 하위선형 리그레트를 달성하기 위해 네트워크 구조 지식이 필수적인가?
• RQ4 클리크 커버링 수 $\overline{\chi}$를 사용해 악성 조건에서 리그레트 최소화 전략을 설계할 수 있는가?
• RQ5 에이전트가 클리크 기반 피드백 필터링을 사용할 경우, $\sqrt{\overline{\chi}T}$ 리그레트 한계가 악성 활성화 조건에서 타당한가?

주요 결과

• 확률적 활성화 조건에서는 최적 리그레트가 $\mathcal{O}(\sqrt{\alpha T})$이며, 이는 네트워크의 독립 수 $\alpha$에 비례한다. 이 한계는 무지한 네트워크 인터페이스를 사용할 경우에도 달성 가능하다.
• 악성 활성화 조건에서는 어떤 알고리즘이나 무지한 네트워크 인터페이스를 사용할 경우 $\Omega(T)$ 리그레트를 겪으며, 이는 네트워크 구조 지식 없이 학습이 불가능함을 증명한다.
• 에이전트가 클리크 커버 지식을 활용해 피드백을 필터링할 경우, 리그레트는 $\mathcal{O}(\sqrt{\overline{\chi}T})$ 이하로 제한되며, 여기서 $\overline{\chi}$는 클리크 커버링 수이다.
• 이 리그레트 한계는 동일한 클리크에 속한 에이전트들이 동일한 업데이트를 수행함으로써 시스템이 $\overline{\chi}$개의 독립적인 OMD 인스턴스로 축소됨에 따라 달성된다.
• 최적의 하한선 구성에 최대 독립 집합을 기반으로 하여 이 리그레트 한계가 상수 요소를 제외하고 타당함이 입증된다.
• 결과적으로, 이는 명확한 이원론을 보여준다: 확률적 활성화 조건에서는 네트워크 구조가 최적 리그레트에 영향을 주지 않지만, 악성 조건에서는 필수적이다.