[論文レビュー] The AI Economist: Improving Equality and Productivity with AI-Driven Tax Policies

Stephan Zheng, Alexander Trott+5 more|arXiv (Cornell University)|Apr 28, 2020

Energy, Environment, and Transportation Policies被引用数 51

ひとこと要約

AI Economistは、経済シミュレータで動的な税政策を学習する二層深層強化学習社会計画者を訓練し、Saezフレームワークより16%高い平等-生産性のトレードオフを実現するとともに、戦略的行動への頑健性と有望な人間被験者データを示す。

ABSTRACT

Tackling real-world socio-economic challenges requires designing and testing economic policies. However, this is hard in practice, due to a lack of appropriate (micro-level) economic data and limited opportunity to experiment. In this work, we train social planners that discover tax policies in dynamic economies that can effectively trade-off economic equality and productivity. We propose a two-level deep reinforcement learning approach to learn dynamic tax policies, based on economic simulations in which both agents and a government learn and adapt. Our data-driven approach does not make use of economic modeling assumptions, and learns from observational data alone. We make four main contributions. First, we present an economic simulation environment that features competitive pressures and market dynamics. We validate the simulation by showing that baseline tax systems perform in a way that is consistent with economic theory, including in regard to learned agent behaviors and specializations. Second, we show that AI-driven tax policies improve the trade-off between equality and productivity by 16% over baseline policies, including the prominent Saez tax framework. Third, we showcase several emergent features: AI-driven tax policies are qualitatively different from baselines, setting a higher top tax rate and higher net subsidies for low incomes. Moreover, AI-driven tax policies perform strongly in the face of emergent tax-gaming strategies learned by AI agents. Lastly, AI-driven tax policies are also effective when used in experiments with human participants. In experiments conducted on MTurk, an AI tax policy provides an equality-productivity trade-off that is similar to that provided by the Saez framework along with higher inverse-income weighted social welfare.

研究の動機と目的

• 動的な経済において平等と生産性のバランスを取る税政策設計を動機づける。
• 強い経済的仮定に依存せず、観測可能データから税スケジュールを学習するデータ駆動・モデルフリーのフレームワークを開発する。
• シミュレーションおよび人間を対象とした実験において、出現的なエージェントの行動と政策の頑健性を示す。
• AI駆動の税制が従来のベンチマークとどのように比較されるか、潜在的な節税行動の下で評価する。

提案手法

• Gather-and-Build経済における政府プランナーと適応エージェントを組み込んだ二レベルの強化学習フレームワークを導入する。
• 所得階級ごとのニューラルネットワークベースのスケジュールとして税政策をモデル化する。
• エージェントの報酬をコインに対する凹関数の効用と線形労働コストで定義し、RLが総割引効用を最適化できるようにする。
• 動的経済シミュレータを用いて、学習済み政策を経済理論（例: エージェントの専門化）と照合して検証する。
• カリキュラムとエントロピー正則化を用いて二レベルRLのトレーニングを安定化させ、エージェント間でポリシーパラメータを共有する。

実験結果

リサーチクエスチョン

• RQ1 AIプランナーは、動的な経済において平等と生産性のトレードオフを改善する税政策を学習できるか？
• RQ2 AI駆動の税政策は、従来のSaezの枠組みのようなベースラインと比較して、最高税率や低所得者向け補助など、質的な差を示すか？
• RQ3 AI駆動の政策は、エージェントによる出現的な節税や不正行為に対して頑健か？
• RQ4 AI税政策は人間の実験（例: MTurk）へ効果を移転し、社会福祉指標で有利に比較されるか？

主な発見

• AI駆動の税政策は、Saezフレームワークを含むベースライン政策よりも平等-生産性のトレードオフを16%改善する。
• 学習された税スケジュールは、ベースラインと質的に異なり、例えば最高税率の引き上げや低所得層への純補助金の増加など。
• AI駆動の政策は、AIエージェントによる出現的な節税戦略の下でも有効である。
• 人間の参加者（MTurk）による実験は、AIポリシーが逆所得加重の社会福祉を高くし、競争力のある平等-生産性のトレードオフを達成することを示す。
• この方法論は、明示的な経済モデル仮定なしで、現実世界に近い設定へ学習済み税政策を適用する可能性を示している。