[论文解读] Human-Algorithm Interaction Biases in the Big Data Cycle: A Markov Chain Iterated Learning Framework

Olfa Nasraoui, Patrick Shafto|arXiv (Cornell University)|Aug 29, 2016

Machine Learning and Algorithms参考文献 68被引用 8

一句话总结

本文提出了一种基于马尔可夫链的迭代学习框架，用于建模大规模数据系统中持续的人机-算法交互所引入的双向偏见。它形式化了人类与算法的盲区，提出了‘解药’和‘反应式学习’机制以缓解迭代偏见，并为推荐系统中长期滤镜泡泡形成与算法漂移现象提供了理论基础。

ABSTRACT

Early supervised machine learning algorithms have relied on reliable expert labels to build predictive models. However, the gates of data generation have recently been opened to a wider base of users who started participating increasingly with casual labeling, rating, annotating, etc. The increased online presence and participation of humans has led not only to a democratization of unchecked inputs to algorithms, but also to a wide democratization of the "consumption" of machine learning algorithms' outputs by general users. Hence, these algorithms, many of which are becoming essential building blocks of recommender systems and other information filters, started interacting with users at unprecedented rates. The result is machine learning algorithms that consume more and more data that is unchecked, or at the very least, not fitting conventional assumptions made by various machine learning algorithms. These include biased samples, biased labels, diverging training and testing sets, and cyclical interaction between algorithms, humans, information consumed by humans, and data consumed by algorithms. Yet, the continuous interaction between humans and algorithms is rarely taken into account in machine learning algorithm design and analysis. In this paper, we present a preliminary theoretical model and analysis of the mutual interaction between humans and algorithms, based on an iterated learning framework that is inspired from the study of human language evolution. We also define the concepts of human and algorithm blind spots and outline machine learning approaches to mend iterated bias through two novel notions: antidotes and reactive learning.

研究动机与目标

• 为解决机器学习中持续人机-算法交互的正式建模缺失问题，特别是在推荐系统中的应用。
• 分析有偏见的人类输入与算法反馈回路如何随时间持续并放大偏见。
• 形式化人类与算法盲区的概念及其在滤镜泡泡形成中的作用。
• 提出新颖的算法机制——解药与反应式学习，以对抗迭代学习偏见。
• 弥合人类学习的心理学模型与机器学习框架之间的鸿沟，以适应交互式、动态的数据环境。

提出的方法

• 将人机交互形式化为使用马尔可夫链模型的迭代学习过程，其中每次迭代均包含人类选择与算法适应。
• 建模反馈回路，即算法输出影响后续人类选择，形成循环的数据依赖。
• 将‘盲区’定义为由于选择偏见，人类与算法一致忽略的数据区域。
• 提出‘解药’作为算法干预手段，通过有意识地从盲区采样以恢复数据多样性。
• 引入‘反应式学习’作为动态学习策略，根据观察到的人类响应模式与选择偏见调整模型行为。
• 通过理论分析与模拟，比较标准算法与偏见缓解算法在迭代交互下的长期行为。

实验结果

研究问题

• RQ1 人类选择偏见与算法反馈回路如何共同导致推荐系统中滤镜泡泡的出现？
• RQ2 持续的人机-算法交互对算法性能与人类知识的长期后果是什么？
• RQ3 人类与算法数据选择中的盲区在时间推移中如何相互强化？
• RQ4 解药与反应式学习机制在多大程度上能有效减少交互学习系统中的迭代偏见？
• RQ5 马尔可夫链框架在多大程度上能够建模并预测现实推荐系统中偏见的演化？

主要发现

• 马尔可夫链框架成功建模了人类行为与算法输出之间的循环依赖，揭示了偏见在迭代过程中如何累积。
• 当人类与算法持续排除特定数据时，盲区便会出现，导致信息孤岛并降低推荐的数据多样性。
• 滤镜泡泡被正式关联到盲区的反面——即因重复曝光与选择而过度代表的数据区域。
• 解药通过有意识地从盲区采样，可减少偏见传播，并在后续迭代中恢复数据覆盖范围。
• 能够根据人类响应模式自适应调整的反应式学习机制，相比标准模型在应对选择偏见方面表现出更强的鲁棒性。
• 本研究识别出公共数据集中的一个关键缺口：大多数数据集未记录完整的推荐历史，限制了对迭代偏见的实证研究。