[论文解读] Learning to Defer in Congested Systems: The AI-Human Interplay

Thodoris Lykouris, Wentao Weng|arXiv (Cornell University)|Feb 19, 2024

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本文提出了一种新颖的在线学习框架，用于内容审核，该框架在拥塞情境下建模了人机交互，其中AI将帖子推迟至人工审核的决策受到可变人工审核容量的约束。该算法通过上下文队列模型，在分类准确率、选择性采样偏差和队列延迟之间实现平衡，实现了在内生反馈延迟设定下的近最优遗憾边界。

ABSTRACT

High-stakes applications rely on combining Artificial Intelligence (AI) and humans for responsive and reliable decision making. For example, content moderation in social media platforms often employs an AI-human pipeline to promptly remove policy violations without jeopardizing legitimate content. A typical heuristic estimates the risk of incoming content and uses fixed thresholds to decide whether to auto-delete the content (classification) and whether to send it for human review (admission). This approach can be inefficient as it disregards the uncertainty in AI's estimation, the time-varying element of content arrivals and human review capacity, and the selective sampling in the online dataset (humans only review content filtered by the AI). In this paper, we introduce a model to capture such an AI-human interplay. In this model, the AI observes contextual information for incoming jobs, makes classification and admission decisions, and schedules admitted jobs for human review. During these reviews, humans observe a job's true cost and may overturn an erroneous AI classification decision. These reviews also serve as new data to train the AI but are delayed due to congestion in the human review system. The objective is to minimize the costs of eventually misclassified jobs. We propose a near-optimal learning algorithm that carefully balances the classification loss from a selectively sampled dataset, the idiosyncratic loss of non-reviewed jobs, and the delay loss of having congestion in the human review system. To the best of our knowledge, this is the first result for online learning in contextual queueing systems. Moreover, numerical experiments based on online comment datasets show that our algorithm can substantially reduce the number of misclassifications compared to existing content moderation practice.

研究动机与目标

• 解决固定阈值的人机协作在内容审核中的低效问题，原因在于忽略了不确定性、随时间变化的人工审核容量以及选择性采样。
• 将人机交互建模为一个上下文队列系统，其中反馈延迟由准入和调度决策内生决定。
• 开发一种联合优化分类损失、未审核帖子的个性损失以及人工审核拥塞延迟损失的学习算法。
• 为一种具有内生、容量受限反馈延迟的新在线学习设定提供遗憾最小化的理论保证。
• 将“学习推迟”范式扩展至包含软容量约束和拥塞效应，填补现有文献中的空白。

提出的方法

• 将内容审核过程形式化为一个具有时变帖子类型、潜在有害性成本和人工审核队列的上下文队列系统。
• 将AI的决策建模为分类（接受/拒绝）、准入（推迟至人工队列）和调度（选择下一个审核的帖子）。
• 使用带置信集的岭回归来估计帖子的真实有害性，通过贝叶斯风格的置信区间纳入不确定性。
• 定义一个损失函数，其包含三个组成部分：非审核帖子上的分类误差、未审核但具有危害性的内容带来的个性损失，以及队列拥塞导致的延迟成本。
• 引入一种调度策略，根据预期边际收益优先处理帖子，以在队列的紧迫性与不确定性之间实现平衡。
• 利用集中不等式和矩阵行列式界，推导出该学习算法的高概率遗憾边界。

实验结果

研究问题

• RQ1 当人工审核容量有限且可变时，AI系统如何最优地平衡分类、准入与调度决策？
• RQ2 由准入和调度决策引发的内生反馈延迟对人机协作中的学习性能有何影响？
• RQ3 当训练数据为选择性采样（仅被准入的帖子被审核）且反馈延迟时，学习算法如何最小化遗憾？
• RQ4 在具有软容量约束的上下文队列系统中，对在线学习可提供哪些理论保证？
• RQ5 人工审核系统中的拥塞如何影响AI模型在内容审核中的长期性能与可靠性？

主要发现

• 所提出的算法在因拥塞导致的内生反馈延迟存在下，实现了接近最优的遗憾边界 $ O(\sqrt{T \log T}) $。
• 通过在准入与调度决策中纳入不确定性估计，该算法有效缓解了选择性采样的偏差。
• 损失函数中的延迟成本分量在高拥塞情况下显著提升了性能，减少了未审核的有害帖子数量。
• 理论分析表明，通过岭回归构建的置信集可确保对模型误设和噪声反馈的鲁棒性。
• 实证验证表明，该算法在分类准确率和各类帖子的公平性方面均优于固定阈值基线。
• 该框架首次将在线学习形式化于上下文队列系统中，为人机协作在实时系统中的应用提供了新颖的分析基础。