[논문 리뷰] Watch and Learn: Optimizing from Revealed Preferences Feedback

Aaron Roth, Jonathan Ullman외 1명|arXiv (Cornell University)|2015. 04. 04.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 5

한 줄 요약

이 논문은 리더가 후순위자의 유틸리티 함수를 알지 못하되, 선택된 행동에 대한 후순위자의 최적 반응을 관찰함으로써 유일하게 노출된 선호도 피드백을 사용하여 전략을 최적화해야 하는 스택엘베르크 게임을 해결하기 위한 새로운 알고리즘 프레임워크를 제시한다. 목적 함수가 비볼록임에도 불구하고, 저자들은 제로스터드 최적화 및 강건한 추정 기법을 사용하여 다항식 쿼리 복잡도로 효율적인 최적화를 달성한다.

ABSTRACT

A Stackelberg game is played between a leader and a follower. The leader first chooses an action, then the follower plays his best response. The goal of the leader is to pick the action that will maximize his payoff given the follower's best response. In this paper we present an approach to solving for the leader's optimal strategy in certain Stackelberg games where the follower's utility function (and thus the subsequent best response of the follower) is unknown. Stackelberg games capture, for example, the following interaction between a producer and a consumer. The producer chooses the prices of the goods he produces, and then a consumer chooses to buy a utility maximizing bundle of goods. The goal of the seller here is to set prices to maximize his profit---his revenue, minus the production cost of the purchased bundle. It is quite natural that the seller in this example should not know the buyer's utility function. However, he does have access to revealed preference feedback---he can set prices, and then observe the purchased bundle and his own profit. We give algorithms for efficiently solving, in terms of both computational and query complexity, a broad class of Stackelberg games in which the follower's utility function is unknown, using only "revealed preference" access to it. This class includes in particular the profit maximization problem, as well as the optimal tolling problem in nonatomic congestion games, when the latency functions are unknown. Surprisingly, we are able to solve these problems even though the optimization problems are non-convex in the leader's actions.

연구 동기 및 목표

• 후순위자의 유틸리티 함수가 알려지지 않았을 때, 관측된 행동과 결과에 의존하여 스택엘베르크 게임에서 리더의 전략을 최적화하는 데 도전하는 것.
• 판매자가 소비자의 평가 함수를 알지 못하되, 소비자의 구매 행동을 관측할 수 있는 환경에서 수익 극대화를 위한 효율적 알고리즘 개발.
• 지연 함수가 알려지지 않은 비원자적 혼잡 게임에서 최적 통행료 설정으로 사회적 비용을 최소화하는 프레임워크 확장.
• 이러한 환경에서 리더의 목적 함수가 본질적으로 비볼록임을 극복하여 기존의 볼록 최적화 기법을 적용할 수 없게 되는 문제 해결.
• 약간의 정규성 조건 하에 수익 극대화 및 통행료 문제에 대해 쿼리 복잡도와 수렴에 대한 이론적 보장을 제공하는 것.

제안 방법

• 리더의 기대 유틸리티의 기울기를 노이즈가 섞인 후순위자의 반응 관측을 통해 추정하기 위해 제로스터드 오рак루(ZOO) 접근 방식을 사용한 투영된 하향 경사 하강법을 적용.
• 후순위자의 번들 선택에 대한 다수의 노이즈가 섞인 관측치를 평균화하여 진정된 최적 반응을 근사하는 강건한 추정 절차를 도입.
• 소음이 없는 설정에서는 타당 영역을 관측된 피드백 기반으로 반복적으로 개선함으로써 최적의 가격 또는 통행료를 학습하기 위해 타원체 방법을 적용.
• 수익을 구매된 번들에 대한 함수로 표현함으로써 최적 가격을 학습하는 문제를 번들 기반 최적화 문제로 변환.
• 후순위자의 유틸리티 함수에 대한 명시적 지식 없이도 리더의 행동(예: 가격 또는 통행료)에 대한 유틸리티 함수의 기울기를 추정하기 위해 편미분 기반 접근법을 사용하여 기울기 기반 최적화 가능.
• ZOO를 농도 경계와 유니온 경계와 결합하여 기울기 추정 및 최종 해의 품질에 대해 높은 확률로 정확성을 보장.

실험 결과

연구 질문

• RQ1 후순위자의 유틸리티 함수가 알려지지 않았지만 관측된 행동을 통해 드러나 있을 때, 스택엘베르크 게임에서 리더의 전략을 효율적으로 최적화할 수 있는가?
• RQ2 노출된 선호도 피드백만을 사용하여 수익 극대화 및 최적 통행료 설정과 같은 비볼록 최적화 문제에서 근사 최적 성능를 달성할 수 있는가?
• RQ3 이러한 설정에서 최적의 가격 또는 통행료를 고확률로 학습하기 위해 필요한 쿼리 복잡도는 얼마인가?
• RQ4 기존의 볼록 최적화 기법이 실패하는 상황에서 리더의 목적 함수의 비볼록성은 어떻게 다룰 수 있는가?
• RQ5 어떤 조건 하에 추정된 최적 전략이 고확률로 진정한 최적 전략으로 수렴함을 보장할 수 있는가?

주요 결과

• 제안된 알고리즘 OproN은 Õ(d⁹.⁵/α⁴)개의 쿼리를 사용하여 확률 1−β 이상로 최적 수익의 α 이내의 기대 수익을 달성한다.
• 이 프레임워크는 기존의 볼록/볼록 최적화 기법이 실패하는 수익 극대화 및 최적 통행료 설정 문제에서 비볼록 목적 함수를 효과적으로 다룰 수 있다.
• 수익 극대화 문제의 경우, 소비자와의 상호작용 수가 다항식 수준이면 근사 최적의 가격 전략을 학습할 수 있다.
• 관측치의 노이즈에 대해 강건하며, 평균화 및 농도 부등식을 통해 오차 범위를 통제할 수 있다.
• 목적 함수가 볼록 또는 볼록이 아니어도 제로스터드 최적화 기법을 사용하여 이론적 보장을 확립하였다.
• 타원체 기반 변형은 소음이 없는 설정에서 정확한 학습을 달성하여 이상적인 피드백 조건 하에서 정확한 최적화가 가능함을 보여준다.