[논문 리뷰] Regret Circuits: Composability of Regret Minimizers

Gabriele Farina, Christian Kroer외 1명|arXiv (Cornell University)|2018. 11. 06.

Metaheuristic Optimization Algorithms Research참고 문헌 32인용 수 4

한 줄 요약

이 논문은 교차, 볼록껍질, 카티esian 곱과 같은 볼록성 유지 연산을 사용하여 복합 볼록 집합 위에서의 손실 최소화기들을 조합하는 미적분을 제안한다. 국소적 손실 최소화기를 블랙박스로 간주하고 '손실 회로' 프레임워크를 통해 조합함으로써, 전역적으로 타당한 손실 최소화기를 구성할 수 있게 되며, 이는 게임 이론 및 온라인 학습에서 복잡한 최적화 문제를 체계적이고 모듈러하게 해결하는 데 기여한다. 이는 전략 제약 조건이 있는 CFR의 일반화를 포함한다.

ABSTRACT

Regret minimization is a powerful tool for solving large-scale problems; it was recently used in breakthrough results for large-scale extensive-form game solving. This was achieved by composing simplex regret minimizers into an overall regret-minimization framework for extensive-form game strategy spaces. In this paper we study the general composability of regret minimizers. We derive a calculus for constructing regret minimizers for composite convex sets that are obtained from convexity-preserving operations on simpler convex sets. We show that local regret minimizers for the simpler sets can be combined with additional regret minimizers into an aggregate regret minimizer for the composite set. As one application, we show that the CFR framework can be constructed easily from our framework. We also show ways to include curtailing (constraining) operations into our framework. For one, they enables the construction of CFR generalization for extensive-form games with general convex strategy constraints that can cut across decision points.

연구 동기 및 목표

• 복합 볼록 집합을 형성하는 볼록성 유지 연산(예: 교차, 볼록껍질, 카티esian 곱)을 통해 손실 최소화기들을 체계적으로 조합할 수 있는 일반적 프레임워크를 개발하는 것.
• 국소적 손실 최소화기를 블랙박스로 간주하고 다양한 알고리즘 선택이 가능한 유연성을 확보함으로써, 손실 최소화기의 모듈러한 구축을 가능하게 하는 것.
• 광범위한 형식적 게임에서 다수의 정보집합을 걸쳐 있는 전략 제약 조건을 손실 최소화 프레임워크에 통합하는 체계적인 방법을 제공하는 것.
• CFR 및 제약 조건이 있는 CFR와 같은 기존의 손실 최소화 프레임워크를 하나의 조합적 미적분으로 통합하고 일반화하는 것.
• 라그랑주 승수 기반 및 투영 기반 방법을 통해 제약 조건을 처리함으로써, 타당성과 계산 비용 사이의 트레이드오���을 지원하는 것.

제안 방법

• 프레임워크는 볼록성 유지 연산(예: 교차, 볼록껍질, 카티esian 곱)을 기반으로 한 손실 최소화 미적분을 사용하여, 간단한 손실 최소화기들로부터 복합 집합을 위한 손실 최소화기를 구성한다.
• 국소적 손실 최소화기들이 집계 연산을 통해 연결되는 방식으로, 개념적이고 형식적인 표현인 '손실 회로'를 도입한다. 이는 전역 손실 최소화기를 구성한다.
• 볼록 제약 조건을 처리하기 위해 라그랑주 승수 기반 및 투영 기반 접근 방식을 모두 지원하며, 타당성과 계산 비용 사이의 트레이드오프를 가능하게 한다.
• 전략 공간의 각 구성 요소에 대해 다른 손실 최소화 알고리즘(예: RM+, 헤지)을 사용할 수 있도록 하여 실용적 성능 향상과 이론적 유연성을 높인다.
• 온라인 볼록 최적화(OCO) 설정에서 프레임워크를 형식화하였으며, 조합적 추론을 통해 수렴 보장을 도출한다.
• CFR 알고리즘은 특수한 경우로 일반화되며, 단순 볼록체(심플렉스) 손실 최소화기들을 적절한 조합 연산으로 조합함으로써 직접적으로 이 미적분에서 유도됨을 보여준다.

실험 결과

연구 질문

• RQ1 볼록성 유지 연산을 통해 형성된 복합 볼록 집합을 위한 손실 최소화기를 체계적으로 조합할 수 있는 방법은 무엇인가?
• RQ2 대조적 손실 최소화(CFR) 프레임워크는 형식적 미적분을 통해 더 단순한 손실 최소화기들의 조합으로 유도될 수 있는가?
• RQ3 광범위한 형식적 게임에서 다수의 정보집합을 걸쳐 있는 전략 제약 조건을 손실 최소화 프레임워크에 어떻게 통합할 수 있는가?
• RQ4 손실 최소화에서 제약 조건을 강제하기 위해 라그랑주 승수 기반 방법과 투영 기반 방법 사이의 트레이드오프는 무엇인가?
• RQ5 이 프레임워크를 사용하여 다수의 정보집합을 걸쳐 제약 조건이 필요한 균형 정밀화 문제를 해결하기 위한 새로운 손실 최소화기를 구성할 수 있는가?

주요 결과

• 손실 미적분은 볼록성 유지 연산을 통해 형성된 임의의 복합 볼록 집합에 대해, 국소적 손실 최소화기를 블랙박스로 사용하여 손실 최소화기를 구성할 수 있다.
• CFR 알고리즘은 단순 볼록체 손실 최소화기들을 적절한 집계 연산으로 조합함으로써 직접적으로 이 미적분에서 도출될 수 있다.
• 프레임워크는 라그랑주 승수 기반 및 투영 기반 방법을 모두 지원하며, 후자는 모든 반복 단계에서 정확한 타당성을 보장한다.
• 라그랑주 승수 기반 변형은 제약 조건이 있는 CFR(CCFR) 알고리즘을 일반화하며, 승수에 대해 임의의 손실 최소화기를 유연하게 적용할 수 있다.
• 투영 기반 방법은 모든 전략 반복 단계에서 타당성을 보장하여, CCFR에서의 근사 타당성과 비교해 뚜렷한 이점이 있다.
• 이 프레임워크는 다수의 정보집합을 걸쳐 제약 조건이 필요한 쿼asi-퍼펙트 균형 계산에 대해, 행렬 역행렬 계산과 같은 무거운 연산을 피하는 첫 번째 손실 최소화 기반 접근법을 가능하게 한다.