[논문 리뷰] Response-Based Approachability and its Application to Generalized No-Regret Algorithms

Andrey Bernstein, Nahum Shimkin|arXiv (Cornell University)|2013. 12. 30.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 5

한 줄 요약

이 논문은 투영 기반 계산을 응답 기반 전략으로 대체하는 새로운 접근 가능성 알고리즘을 소개한다. 이는 원래의 기하학적 분리 조건 대신 Blackwell의 이중 조건을 사용한다. 이 방법은 투영이 계산적으로 비용이 많이 들지만 응답은 쉽게 구할 수 있는 일반화된 노레그 문제—예를 들어 제약 조건이 있는 회귀 최소화 및 전역 비용 함수 최적화—에서 효율적인 계산을 가능하게 하며, 이러한 설정에 대해 처음으로 계산적으로 효율적인 알고리즘을 제공한다.

ABSTRACT

Approachability theory, introduced by Blackwell (1956), provides fundamental results on repeated games with vector-valued payoffs, and has been usefully applied since in the theory of learning in games and to learning algorithms in the online adversarial setup. Given a repeated game with vector payoffs, a target set $S$ is approachable by a certain player (the agent) if he can ensure that the average payoff vector converges to that set no matter what his adversary opponent does. Blackwell provided two equivalent sets of conditions for a convex set to be approachable. The first (primary) condition is a geometric separation condition, while the second (dual) condition requires that the set be {\em non-excludable}, namely that for every mixed action of the opponent there exists a mixed action of the agent (a {\em response}) such that the resulting payoff vector belongs to $S$. Existing approachability algorithms rely on the primal condition and essentially require to compute at each stage a projection direction from a given point to $S$. In this paper, we introduce an approachability algorithm that relies on Blackwell's {\em dual} condition. Thus, rather than projection, the algorithm relies on computation of the response to a certain action of the opponent at each stage. The utility of the proposed algorithm is demonstrated by applying it to certain generalizations of the classical regret minimization problem, which include regret minimization with side constraints and regret minimization for global cost functions. In these problems, computation of the required projections is generally complex but a response is readily obtainable.

연구 동기 및 목표

• 기하학적 투영 대신 응답 맵에 의존함으로써 계산적으로 비용이 많이 드는 투영 단계를 피하는 새로운 접근 가능성 알고리즘을 개발하는 것.
• 표준 투영 기반 방법이 비현실적인 제약 조건이 있는 회귀 최소화 및 전역 비용 함수와 같은 일반화된 노레그 문제를 다루는 것.
• 이러한 일반화된 설정에서 응답 계산은 계산적으로 처리 가능하지만, 투영 계산은 여전히 복잡하다는 것을 보여주는 것.
• 보정 예측 또는 목표 집합으로의 직접 투영에 의존하는 기존 알고리즘에 대한 계산적으로 효율적인 대안을 제공하는 것.
• 응답 기반 계산을 통해 접근 가능성 이론의 적용 범위를 연속 행동 및 스토케스틱 게임 모델로 확장하는 것.

제안 방법

• 알고리즘은 Blackwell의 이중 접근 가능성 조건에 기반하며, 이는 상대의 혼합 전략에 대해 해당 전략에 대응하는 에이전트 행동이 존재하여 기대 수익 벡터가 목표 집합에 포함되도록 보장한다.
• 각 단계에서, 현재 평균 수익 벡터를 목표 집합에 투영하는 대신, 상대의 현재 혼합 전략에 대한 응답을 계산한다.
• 방향 조정은 투영이 아닌 응답에서 유도되며, Blackwell 원래의 접근 가능성 알고리즘의 수정된 버전을 사용한다.
• 평균 수익이 이미 목표 조건을 충족할 경우, 방향 조정의 성분을 0으로 설정함으로써 유계가 아닌 목표 집합을 다루는 데 적응한다.
• 볼록 제약 집합의 경우, 응답 계산은 볼록 프로그래밍으로 간소화되며, 다각형 제약 조건의 경우 선형 프로그래밍이 된다.
• 보상 대 비용 최대화 및 제약 조건이 있는 보상 최대화와 같은 다목적 문제를 다루기 위해, 타당성 제약 조건을 고려하도록 방향 조정을 수정한다.

실험 결과

연구 질문

• RQ1 목표 집합으로의 투영 계산 없이, 응답 맵에 의존함으로써 접근 가능성은 달성될 수 있는가?
• RQ2 복잡한 제약 조건이 있는 일반화된 노레그 문제에서, 응답 계산은 투영 계산보다 더 효율적인가?
• RQ3 접근 가능성의 이중 조건을 효과적으로 활용하여 계산적으로 효율적인 학습 알고리즘을 설계할 수 있는가?
• RQ4 표준 투영 기반 알고리즘과 동일한 조건 하에서, 응답 기반 접근 방식은 목표 집합으로의 거의 확실한 수렴을 유지하는가?
• RQ5 이 방법은 이차형 보상 함수를 가진 연속 행동 및 스토케스틱 게임 모델로 확장될 수 있는가?

주요 결과

• 제안된 응답 기반 알고리즘은 응답 맵의 존재와 Blackwell의 이중 조건을 만족함으로써 기하학적 투영 없이도 볼록 목표 집합으로의 접근 가능성을 달성한다.
• 제약 조건이 있는 회귀 최소화 문제에서는 이전 연구에서 요구하던 보정 예측의 계산적으로 어려운 작업을 피하고, 대신 상대의 혼합 전략에 대한 최적 응답을 계산한다.
• 전역 비용 함수가 있는 문제에서는 응답 계산이 효율적으로 해결 가능한 볼록 프로그래밍으로 줄어들지만, 만족 가능한 집합의 볼록 껍질로의 투영은 계산적으로 부담스럽다.
• 표준 Blackwell 알고리즘과 동일한 조건 하에서 목표 집합으로의 수렴을 유지하여 평균 수익 벡터가 목표 집합으로 거의 확실히 수렴함을 보장한다.
• 행동이 볼록 집합에 있고 보상 함수가 이차형인 연속 행동 모델로도 이 방법을 확장할 수 있으며, 수렴성과 계산 효율성을 유지한다.
• 현재 평균이 이미 목표 기준을 충족하거나 초과할 경우, 방향 조정의 성분을 0으로 설정하는 등의 수정 조치는 수렴성을 훼손하지 않으면서도 효율성을 향상시킨다.