[논문 리뷰] The AI Economist: Improving Equality and Productivity with AI-Driven Tax Policies

Stephan Zheng, Alexander Trott외 5명|arXiv (Cornell University)|2020. 04. 28.

Energy, Environment, and Transportation Policies참고 문헌 83인용 수 44

한 줄 요약

논문은 두 수준의 심층 강화학습 프레임워크를 통해 AI 사회 계획자가 시뮬레이션된 경제에서 역동적 과세 정책을 학습하고 형평성과 생산성을 균형 있게 조정하며, 기준 과세 제도 대비 현저한 차이로 이를 달성한다. 또한 인간 참가자와의 실험에서 등장하는 과세 설계 행동과 효과를 입증한다.

ABSTRACT

Tackling real-world socio-economic challenges requires designing and testing economic policies. However, this is hard in practice, due to a lack of appropriate (micro-level) economic data and limited opportunity to experiment. In this work, we train social planners that discover tax policies in dynamic economies that can effectively trade-off economic equality and productivity. We propose a two-level deep reinforcement learning approach to learn dynamic tax policies, based on economic simulations in which both agents and a government learn and adapt. Our data-driven approach does not make use of economic modeling assumptions, and learns from observational data alone. We make four main contributions. First, we present an economic simulation environment that features competitive pressures and market dynamics. We validate the simulation by showing that baseline tax systems perform in a way that is consistent with economic theory, including in regard to learned agent behaviors and specializations. Second, we show that AI-driven tax policies improve the trade-off between equality and productivity by 16% over baseline policies, including the prominent Saez tax framework. Third, we showcase several emergent features: AI-driven tax policies are qualitatively different from baselines, setting a higher top tax rate and higher net subsidies for low incomes. Moreover, AI-driven tax policies perform strongly in the face of emergent tax-gaming strategies learned by AI agents. Lastly, AI-driven tax policies are also effective when used in experiments with human participants. In experiments conducted on MTurk, an AI tax policy provides an equality-productivity trade-off that is similar to that provided by the Saez framework along with higher inverse-income weighted social welfare.

연구 동기 및 목표

• 데이터 기반 시뮬레이션을 활용하여 역동적 경제에서 형평성과 생산성을 균형시키는 과세 정책 설계를 자극한다.
• 행위자들이 행동을 적응시키는 동안 기획자가 과세 정책을 학습하는 두 수준 RL 프레임워크를 개발한다.
• AI 주도 과세 정책이 기준 정책에 비해 형평성-생산성 균형을 개선함을 보인다.
• 자발적으로 나타나는 행동을 검증하고 인간 참가자를 대상으로 정책을 테스트하여 현장 적용 가능성을 평가한다.

제안 방법

• 적응형 행위자와 정부 계획자를 갖춘 경제 시뮬레이션(Gather-and-Build 게임)을 만든다.
• 관측 가능한 세계 데이터에 기초한 심층 신경망을 사용하여 소득 구간에 적용되는 학습 가능한 과세 정책 일정으로 형식화한다.
• 에이전트 효용을 동전의 함수로 오목하게 모델하고 노동 비용을 선형으로 빼서 RL 최적화를 가능하게 한다.
• 안정성을 위한 학습 커리큘럼과 엔트로피 기반 정규화를 포함한 두 수준 RL 설정으로 에이전트와 계획자를 학습시킨다.
• 형평성과 생산성 지표로 정책을 평가하고 Saez 프레임워크 및 자유시장 기준과 비교한다.

실험 결과

연구 질문

• RQ1 AI 주도 과세 정책이 동적이고 학습하는 경제에서 형평성과 생산성 간의 균형을 개선할 수 있는가?
• RQ2 AI에서 등장하는 과세 설계가 기준 정책과 질적으로 다른가, 그리고 에이전트의 전략적 행동에 대해 강건한가?
• RQ3 인간 참가자와의 평가에서 AI 주도 과세 정책이 형평성-생산성 균형을 얼마나 효과적으로 다루는가?

주요 결과

• AI 주도 과세 정책은 Saez 프레임워크를 포함한 기준 정책에 비해 형평성-생산성 균형을 16% 향상시킨다.
• AI 정책은 상위 소득에 대한 더 높은 세율과 저소득층에 대한 순 보조금 증가를 포함하여 질적으로 다른 일정들을 설정한다.
• 에이전트가 과세 회피 전략을 학습해도 AI 주도 정책은 효과를 유지한다.
• 학습된 정책은 MTurk 실험에서 인간 참가자들과 함께 형평성-생산성 결과가 우호적임을 보인다.
• 정책은 AI 에이전트의 자발적 전략적 행동에 대해 강건함을 보여준다.