[论文解读] Hacking Google reCAPTCHA v3 using Reinforcement Learning

Ismail Akrout, Amal Feriani+1 more|arXiv (Cornell University)|Mar 3, 2019

User Authentication and Security Systems参考文献 11被引用 15

一句话总结

本文提出一种基于强化学习（RL）的方法，通过将鼠标移动建模为网格世界导航任务，以绕过 Google reCAPTCHA v3。采用策略梯度方法（Reinforce），该智能体在 100×100 网格上实现了 97.4% 的成功率，在 1000×1000 分辨率下达到 96.7%，并利用分治策略在无需微调的情况下实现跨屏幕尺寸的泛化。

ABSTRACT

We present a Reinforcement Learning (RL) methodology to bypass Google reCAPTCHA v3. We formulate the problem as a grid world where the agent learns how to move the mouse and click on the reCAPTCHA button to receive a high score. We study the performance of the agent when we vary the cell size of the grid world and show that the performance drops when the agent takes big steps toward the goal. Finally, we used a divide and conquer strategy to defeat the reCAPTCHA system for any grid resolution. Our proposed method achieves a success rate of 97.4% on a 100x100 grid and 96.7% on a 1000x1000 screen resolution.

研究动机与目标

• 探究强化学习是否可用于自动化绕过 Google reCAPTCHA v3，该系统无用户界面，通过机器学习模型分配风险评分。
• 将 reCAPTCHA 挑战建模为马尔可夫决策过程（MDP），使智能体学习最优鼠标移动策略以获得高信任评分。
• 评估网格单元大小对智能体性能及 reCAPTCHA 行为分析检测率的影响。
• 开发一种可扩展的解决方案，使智能体在无需为每种分辨率重新训练的情况下泛化至不同屏幕分辨率。
• 通过避免使用浏览器自动化工具和无头检测机制，模拟类人交互行为。

提出的方法

• 将 reCAPTCHA 绕过任务形式化为网格世界 MDP，其中状态空间由鼠标位置定义，动作空间由方向移动（上、下、左、右）构成。
• 使用 Reinforce 算法结合策略梯度优化训练智能体，奖励基于每轮试验后获得的最终 reCAPTCHA 评分。
• 使用 PyAutoGUI 实现自定义浏览器环境，直接控制鼠标，避免被 Selenium 等浏览器自动化工具检测到。
• 引入分治策略：将大网格划分为 100×100 子网格，依次将训练好的智能体应用于每个子段以实现大屏幕导航。
• 控制环境因素（如 Google 账号登录状态和 IP 路由）以模拟真实人类行为，避免被检测。
• 将回合时长定义为网格对角线长度的两倍，以确保足够步数完成导航，避免过早终止。

实验结果

研究问题

• RQ1 强化学习能否有效应用于绕过 reCAPTCHA v3？该系统无可见挑战，依赖风险评分机制。
• RQ2 网格世界中的单元大小如何影响智能体的成功率及其被 reCAPTCHA 行为分析检测的可能性？
• RQ3 一个在 100×100 网格上训练的单一 RL 智能体是否能无需重新训练即泛化至如 1000×1000 的更大屏幕分辨率？
• RQ4 哪些环境因素（如浏览器自动化、账号状态、IP 路由）显著影响智能体获得高 reCAPTCHA 评分的能力？
• RQ5 分治策略在不同网格分辨率下在多大程度上保持高性能？

主要发现

• 该 RL 智能体在 100×100 网格上实现了 97.4% 的成功率，证明其在绕过 reCAPTCHA v3 方面具有高度有效性。
• 在 1000×1000 网格分辨率下，智能体仍保持 96.7% 的成功率，表明其在更大屏幕上的强大泛化能力。
• 当单元大小从 1×1 像素增加到 10×10 像素时，成功率下降，且在单元大小为 10 时，超过 20% 的试验中被检测为机器人，表明其移动模式具有非人类特征。
• 分治策略使智能体在无需重新训练的情况下，对多个测试的网格尺寸均实现了超过 90% 的成功率，证明其可扩展性。
• 使用 PyAutoGUI 进行直接鼠标控制优于 Selenium 等浏览器自动化工具，后者因自动化的请求头和信号触发了 reCAPTCHA 检测。
• 未登录 Google 账号并使用标准 IP 路由可提高获得高 reCAPTCHA 评分的可能性，表明账号和网络上下文会影响风险评估。