[논문 리뷰] Maximizing and Satisficing in Multi-armed Bandits with Graph Information

Parth Thaker, Mohit Malu외 2명|arXiv (Cornell University)|2021. 08. 02.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 알려진 그래프 위에서 보상이 매끄럽게 변하는 스토하스틱 다항보상 문제에서 그래프 구조를 가진 보조 정보를 사용하여 최적의 암을 식별하기 위한 새로운 알고리즘인 GRUB과 ζ-GRUB을 제안한다. 새로운 影響 계수 측정법을 통해 그래프의 구조를 활용함으로써, 특히 최적의 암이 작은 유사한 암의 집합과 구별하기 어려운 경우에 표본 복잡도를 크게 감소시킨다. 이는 최적에 가까운 성능과 전통적 방법에 비해 경험적으로 뛰어난 성능 향상을 보여준다.

ABSTRACT

Pure exploration in multi-armed bandits has emerged as an important framework for modeling decision-making and search under uncertainty. In modern applications, however, one is often faced with a tremendously large number of options. Even obtaining one observation per option may be too costly rendering traditional pure exploration algorithms ineffective. Fortunately, one often has access to similar relationships amongst the options that can be leveraged. In this paper, we consider the pure exploration problem in stochastic multi-armed bandits where the similarities between the arms are captured by a graph and the rewards may be represented as a smooth signal on this graph. In particular, we consider the problem of finding the arm with the maximum reward (i.e., the maximizing problem) or one with a sufficiently high reward (i.e., the satisficing problem) under this model. We propose novel algorithms extbf{\algoname{}} (GRaph-based UcB) and $ζ$- extbf{\algoname{}} for these problems and provide a theoretical characterization of their performance which specifically elicits the benefit of the graph side information. We also prove a lower bound on the data requirement, showing a large class of problems where these algorithms are near-optimal. We complement our theory with experimental results that show the benefit of capitalizing on such side information.

연구 동기 및 목표

• 모든 암을 샘플링하는 것이 불가능한 대규모 다항보상 문제에서 최적의 암 식별 문제를 해결하기 위해.
• 암 간 유사도를 캡처하는 그래프 구조의 보조 정보를 활용하여 필요한 샘플 수를 줄이기 위해.
• 암을 구별하는 데의 효과적인 어려움을 측정하는 새로운 影響 계수 측정법을 통해 그래프 정보의 이점을 정량화하기 위해.
• 그래프 제약 조건 하에서 표본 복잡도의 이론적 하한을 설정하여 제안된 알고리즘의 near-optimality를 입증하기 위해.
• 절대적으로 최적의 암을 찾는 데 비용이 너무 많이 들기 때문에, 이를 대체할 만한 만족형 변형(ζ-GRUB)을 개발하기 위해.

제안 방법

• 그래프 라플라시안과 저항 거리(Resistance distance)를 사용하여 영향력과 연결성에 기반해 암을 우선순위 정렬하는 UCB 스타일 알고리즘인 GRUB을 제안한다.
• 저항 거리와 스펙트럼 성질에 기반해, 특정 암 i가 최적의 암과 얼마나 구별하기 어려운지를 측정하는 그래프 기반의 측정치인 影響 계수 𝔛(i,G)를 도입한다.
• 목표 보상 임계치 ζ를 초과하는 암을 식별하면 종료되는 만족형 변형인 ζ-GRUB을 설계한다. 이는 탐색 비용을 줄이는 데 기여한다.
• 역행렬의 피셔 정보 행렬과 유효 표본 수를 사용하여 불확실성을 모델링하며, 유효 표본 수는 정규화된 카운팅 행렬의 역행렬을 통해 정의한다.
• 스펙트럼 그래프 이론을 적용하여 유효 표본 수의 증가를 제한하고, 순환 샘플링 정책 하에서 수렴성을 증명한다.
• 표본 복잡도의 이론적 상한을 유도하며, 이는 ∑_{i∈ℋ} 1/Δ²_i 에 비례하며, ℋ는 影響 계수에 의해 결정되는 작은 암의 부분집합이다. 이는 그래프 없이 기반선에 비해 상당한 향상을 이룬다.

실험 결과

연구 질문

• RQ1 그래프 구조의 보조 정보를 어떻게 활용하여 최적의 암 식별에서 표본 복잡도를 줄일 수 있는가?
• RQ2 다항보상 문제에서 그래프 정보의 이점을 정의하는 원칙적인 측정법은 무엇인가?
• RQ3 암 보상이 그래프 위에서 매끄럽게 변할 경우, 제안된 알고리즘이 near-최적의 표본 복잡도를 달성할 수 있는가?
• RQ4 GRUB의 표본 효율성은 기존의 그래프 없는 알고리즘과 비교해 어떻게 다른가?
• RQ5 ζ-GRUB의 만족형 변형은 GRUB의 최적화 변형보다 어떤 상황에서 더 적합한가?

주요 결과

• GRUB의 표본 복잡도는 ∑_{i∈ℋ} 1/Δ²_i 에 비례하며, 많은 그래프에서 |ℋ| ≪ n 이므로 기존 방법(∑_{i=1}^n 1/Δ²_i 에 비례)에 비해 상당한 향상을 이룬다.
• 영향 계수 𝔛는 최적의 암과 다른 암을 구별하는 데의 효과적 어려움을 캡처하며, 저항 거리에 의존함으로써 그래프의 이점에 대한 이론적 분석이 가능해진다.
• 표본 복잡도에 대한 하한을 증명하였으며, 이는 그래프 구조가 유용한 많은 문제 클래스에서 GRUB이 near-최적임을 보여준다.
• ζ-GRUB은 목표 보상 이상의 암을 발견하면 종료함으로써 만족형 설정에서 탐색 비용을 효과적으로 줄이며, 성공 확률에 대한 이론적 보장이 있다.
• 경험적 결과는 GRUB과 ζ-GRUB을 사용할 경우 기존 기반선 알고리즘에 비해 특히 고차원 또는 대규모 설정에서 뚜렷한 성능 향상을 보임을 보여준다.
• 이론적 분석은 그래프에 간선를 추가함(즉, 더 강한 유사성 정보를 제공함)이 유효 표본 수를 증가시키고 불확실성을 감소시킴을 확인하며, 그래프 확장에 따른 유효 표본 수의 단조성으로 수식화된다.