[논문 리뷰] An online convex optimization approach to Blackwell's approachability

Nahum Shimkin|arXiv (Cornell University)|2016. 01. 01.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 5

한 줄 요약

이 논문은 반복 벡터 수익 게임에서 블랙웰의 접근 가능성에 대한 직접적인 온라인 볼록 최적화(OCO) 프레임워크를 제안한다. 이는 이전의 온라인 선형 프로그래밍에 의존하는 것과는 대비된다. 볼록 목표 집합의 지지 함수와 OCO 알고리즘—특히 팔로우 더 리더(Follow the Leader)를 활용함으로써, 접근 가능성 전략을 일반화하고, 블랙웰의 원래 알고리즘과 수렴 보장을 복원하면서도, 유연하고 노름에 따라 달라지는 설계를 가능하게 한다.

ABSTRACT

The problem of approachability in repeated games with vector payoffs was introduced by Blackwell in the 1950s, along with geometric conditions and corresponding approachability strategies that rely on computing a sequence of direction vectors in the payoff space. For convex target sets, these vectors are obtained as projections from the current average payoff vector to the set. A recent paper by Abernethy, Batlett and Hazan (2011) proposed a class of approachability algorithms that rely on Online Linear Programming for obtaining alternative sequences of direction vectors. This is first implemented for target sets that are convex cones, and then generalized to any convex set by embedding it in a higher-dimensional convex cone. In this paper we present a more direct formulation that relies on general Online Convex Optimization (OCO) algorithms, along with basic properties of the support function of convex sets. This leads to a general class of approachability algorithms, depending on the choice of the OCO algorithm and the used norms. Blackwell's original algorithm and its convergence are recovered when Follow The Leader (or a regularized version thereof) is used for the OCO algorithm.

연구 동기 및 목표

• 직접적인 임베딩이나 온라인 선형 프로그래밍을 사용하지 않고, 온라인 볼록 최적화(OCO)를 활용하여 블랙웰의 접근 가능성에 더 직접적이고 일반적인 접근법을 개발하는 것.
• 볼록 목표 집합의 지지 함수를 통해 기존의 접근 가능성 알고리즘을 통합하고 일반화하는 것.
• 다양한 OCO 알고리즘과 노름을 선택함으로써 접근 가능성 전략의 설계를 더욱 융통성 있게 하되, 볼록 목표 집합으로의 수렴을 유지하는 것.
• 팔로우 더 리더(Follow the Leader) 또는 그 정규화된 변형을 OCO 프레임워크에서 사용할 경우, 블랙웰의 원래 알고리즘과 그 수렴 성질을 특수한 경우로 복원하는 것.

제안 방법

• 수익 공간에서 집합의 쌍대 표현을 제공하는 볼록 목표 집합의 지지 함수를 사용하여 접근 가능성 문제를 수립하는 것.
• 방향 벡터 선택 문제를 지지 함수 위에서의 온라인 볼록 최적화 문제로 환원하는 것.
• 표준 OCO 알고리즘(예: 팔로우 더 리더)을 사용하여 목표 집합 쪽으로 유도하는 방향 벡터를 생성하는 것.
• 선택된 OCO 알고리즘의 오차 한계와 지지 함수의 하위기울기 성질을 활용하여 수렴을 보장하는 것.
• 높은 차원의 볼록 콘에 집합을 임베딩함으로써 임의의 볼록 집합으로 프레임워크를 확장하는 것. 다만 주요 기여는 이러한 임베딩 없이도 직접적인 OCO 수식을 제공하는 데 있다.
• OCO 알고리즘과 관련된 노름의 선택이 접근 가능성 전략의 수렴 속도와 강건성에 영향을 준다는 것을 보여주는 것.

실험 결과

연구 질문

• RQ1 직접적인 OCO 수식이 블랙웰의 접근 가능성 프레임워크에서 간접 임베딩 기반 접근법을 대체할 수 있는가?
• RQ2 다양한 OCO 알고리즘과 노름은 접근 가능성 전략의 설계와 수렴에 어떤 영향을 미치는가?
• RQ3 OCO 기반 접근법이 블랙웰의 원래 알고리즘과 그 수렴 보장을 복원하는 조건은 무엇인가?
• RQ4 볼록 집합의 지지 함수는 일반적이고 융통성 있는 접근 가능성 프레임워크를 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 임베딩된 볼록 콘에 대한 사전 요구 없이도 이 프레임워크를 임의의 볼록 목표 집합으로 일반화할 수 있는가?

주요 결과

• 제안된 OCO 기반 프레임워크는 볼록 집합을 고차원 콘에 임베딩할 필요 없이 반복 벡터 수익 게임에서의 접근 가능성에 대해 일반적이고 직접적인 방법을 제공한다.
• 팔로우 더 리더(Follow the Leader) 또는 그 정규화된 변형을 OCO 알고리즘으로 사용할 경우, 유도되는 전략은 블랙웰의 원래 접근 가능성 알고리즘과 그 수렴 성질을 복원한다.
• 이 프레임워크는 OCO 알고리즘의 오차와 평균 수익 벡터가 목표 집합으로 수렴하는 속도 사이에 명확한 연결 고리를 설정한다.
• OCO 알고리즘과 관련된 노름의 선택은 방향 벡터에 직접적인 영향을 미치며, 따라서 목표 집합으로 향하는 경로와 수렴 속도에 영향을 준다.
• 목표 집합의 지지 함수는 OCO 문제의 수립과 필요한 볼록성 및 미분 가능성 보장을 가능하게 하는 핵심 쌍대 표현이다.
• 이 방법은 이전의 온라인 선형 프로그래밍 기반 접근법을 지지 함수를 통해 볼록 집합의 기하학을 직접 다룸으로써 일반화한다.