[논문 리뷰] Human-Algorithm Interaction Biases in the Big Data Cycle: A Markov Chain Iterated Learning Framework

Olfa Nasraoui, Patrick Shafto|arXiv (Cornell University)|2016. 08. 29.

Machine Learning and Algorithms참고 문헌 68인용 수 8

한 줄 요약

이 논문은 대규모 데이터 시스템에서 지속적인 인간-알고리즘 상호작용으로 인해 발생하는 상호작용적 편향을 모델링하기 위해 마르코프 체인 기반의 반복 학습 프레임워크를 제안한다. 인간과 알고리즘의 시각적 흐름을 정량화하고, 이에 대비하여 '해독제'와 '반응형 학습'을 제안함으로써 반복적 편향을 완화하며, 추천 시스템에서 장기적인 피터 필터 버블 형성과 알고리즘 드리프트를 분석하기 위한 이론적 기반을 제공한다.

ABSTRACT

Early supervised machine learning algorithms have relied on reliable expert labels to build predictive models. However, the gates of data generation have recently been opened to a wider base of users who started participating increasingly with casual labeling, rating, annotating, etc. The increased online presence and participation of humans has led not only to a democratization of unchecked inputs to algorithms, but also to a wide democratization of the "consumption" of machine learning algorithms' outputs by general users. Hence, these algorithms, many of which are becoming essential building blocks of recommender systems and other information filters, started interacting with users at unprecedented rates. The result is machine learning algorithms that consume more and more data that is unchecked, or at the very least, not fitting conventional assumptions made by various machine learning algorithms. These include biased samples, biased labels, diverging training and testing sets, and cyclical interaction between algorithms, humans, information consumed by humans, and data consumed by algorithms. Yet, the continuous interaction between humans and algorithms is rarely taken into account in machine learning algorithm design and analysis. In this paper, we present a preliminary theoretical model and analysis of the mutual interaction between humans and algorithms, based on an iterated learning framework that is inspired from the study of human language evolution. We also define the concepts of human and algorithm blind spots and outline machine learning approaches to mend iterated bias through two novel notions: antidotes and reactive learning.

연구 동기 및 목표

• 지속적인 인간-알고리즘 상호작용, 특히 추천 시스템에서의 기계 학습 분야에서의 공식적 모델링 부족을 해결하기 위해.
• 편향된 인간 입력과 알고리즘 피드백 루프가 시간이 지남에 따라 어떻게 편향을 유지하고 악화시키는지 분석하기 위해.
• 인간과 알고리즘의 빛의 틈새 개념을 정량화하고, 이들이 피터 필터 버블 형성에 미치는 역할을 명시화하기 위해.
• 반복 학습 편향을 완화하기 위한 새로운 알고리즘 메커니즘—'해독제'와 '반응형 학습'을 제안하기 위해.
• 인간 학습의 심리학적 모델과 기계 학습 프레임워크를 융합하여 상호작용적이고 동적인 데이터 환경에 적합한 모델링을 구축하기 위해.

제안 방법

• 각 반복 단계에서 인간의 선택과 알고리즘의 적응이 이루어지는 마르코프 체인 모델을 사용하여 인간-알고리즘 상호작용을 반복 학습 과정으로 정량화한다.
• 알고리즘 출력이 후속 인간 선택에 영향을 주는 피드백 루프를 모델링하여 순환적인 데이터 의존성을 생성한다.
• 선택 편향으로 인해 인간과 알고리즘이 일관되게 생략하는 데이터 영역을 '빛의 틈새'로 정의한다.
• 빛의 틈새에서의 데이터를 의도적으로 샘플링함으로써 데이터 다양성을 복원하는 알고리즘 간섭 조치로 '해독제'를 제안한다.
• 관찰된 인간 반응 패턴과 선택 편향에 기반하여 모델 행동을 동적으로 조정하는 전략으로 '반응형 학습'을 도입한다.
• 이론적 분석과 시뮬레이션을 통해 반복 상호작용 하에서 표준 알고리즘과 편향 완화 알고리즘의 장기적 행동을 비교한다.

실험 결과

연구 질문

• RQ1 인간 선택 편향과 알고리즘 피드백 루프는 추천 시스템에서 피터 필터 버블 형성에 어떻게 공동 기여하는가?
• RQ2 반복적 인간-알고리즘 상호작용이 알고리즘 성능과 인간 지식에 장기적으로 어떤 영향을 미치는가?
• RQ3 인간과 알고리즘의 데이터 선택 빛의 틈새가 시간이 지남에 따라 어떻게 상호 강화되는가?
• RQ4 해독제와 반응형 학습 메커니즘이 상호작용 학습 시스템 내 반복적 편향을 효과적으로 줄일 수 있는가?
• RQ5 마르코프 체인 프레임워크는 실제 추천 시스템에서 편향의 진화를 모델링하고 예측할 수 있는가?

주요 결과

• 마르코프 체인 프레임워크는 인간 행동과 알고리즘 출력 간 순환적 의존성을 성공적으로 모델링하여 반복 과정에서 편향이 누적되는 방식을 드러냈다.
• 인간과 알고리즘이 일관되게 특정 데이터를 배제할 경우 빛의 틈새가 발생하여 정보의 고립과 추천의 다양성 감소를 초래한다.
• 피터 필터 버블은 빛의 틈새의 역수—반복 노출 및 선택으로 인해 과도하게 강조되는 영역—와 공식적으로 연결된다.
• 빛의 틈새에서 의도적으로 샘플링하는 해독제를 통해 편향 전파를 줄이고 이후 반복에서 데이터 커버리지 복원이 가능하다.
• 사람의 반응 패턴과 선택 편향에 적응하는 반응형 학습 메커니즘은 표준 모델 대비 선택 편향에 더 뛰어난 내성성을 보였다.
• 본 연구는 공개 데이터셋의 심각한 격차를 규명했다: 대부분의 데이터셋이 전체 추천 이력 기록을 보유하지 않아 반복적 편향을 경험적으로 연구하는 데 제약이 있다.