[논문 리뷰] Data Feedback Loops: Model-driven Amplification of Dataset Biases

Rohan Taori, Tatsunori Hashimoto|arXiv (Cornell University)|2022. 09. 08.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 논문은 모델이 생성한 예측을 재사용하여 훈련 데이터로 사용하는 기계학습에서의 데이터 피드백 루프를 체계화한다. 이 과정에서 편향이 증폭되며, 모델이 훈련 분포에서 샘플링하는 것처럼 행동하는 일관된 校정(consistent calibration)이 안정성의 핵심 요소임을 규명하고, 특히 비샘플링 방법(예: 빔 서치)에 적합한 개선 전략을 제안한다.

ABSTRACT

Datasets scraped from the internet have been critical to the successes of large-scale machine learning. Yet, this very success puts the utility of future internet-derived datasets at potential risk, as model outputs begin to replace human annotations as a source of supervision. In this work, we first formalize a system where interactions with one model are recorded as history and scraped as training data in the future. We then analyze its stability over time by tracking changes to a test-time bias statistic (e.g. gender bias of model predictions). We find that the degree of bias amplification is closely linked to whether the model's outputs behave like samples from the training distribution, a behavior which we characterize and define as consistent calibration. Experiments in three conditional prediction scenarios - image classification, visual role-labeling, and language generation - demonstrate that models that exhibit a sampling-like behavior are more calibrated and thus more stable. Based on this insight, we propose an intervention to help calibrate and stabilize unstable feedback systems. Code is available at https://github.com/rtaori/data_feedback.

연구 동기 및 목표

• 인터넷 데이터에서 유래한 기계학습 데이터셋에서, 모델 예측이 인간의 주석을 점점 더 대체함에 따라 발생하는 편향 증폭 위험을 조사한다.
• 모델 출력을 향후 훈련 데이터로 크롤링하는 피드백 루프 시스템을 체계화하여, 편향이 자기 강화되는 순환 구조를 만든다.
• 훈련 분포에서 샘플링하는 것처럼 행동하는 모델, 즉 일관된 校정을 보이는 모델이 피드백 루프에서 편향 증폭을 안정화시키는 데 핵심 조건임을 규명한다.
• 비샘플링 생성 방법(예: 빔 서치)에 특히 적합한 실용적 개선 전략을 제안하여 불안정한 피드백 시스템을 안정화한다.
• 이론을 다양한 작업 세 종류에 적용하여 검증한다: 이미지 분류, 시각적 역할 레이블링, 언어 생성. 이론적 경계와의 경험적 일치를 보여준다.

제안 방법

• 시간 $ t $ 에서의 모델 예측을 수집하여 $ f_{t+1} $ 의 훈련 데이터로 사용하는 데이터 피드백 루프 설정을 정의한다. 이는 재귀적 훈련 과정을 만든다.
• 테스트 시점의 편향(예: 성별 편향 또는 독성)을 정량화하기 위해 $ \rho(x, \hat{y}) $ 라는 편향 지표를 도입하고, 시간에 따른 변화를 추적한다.
• 이론적 분석을 통해 편향 증폭이 $ \frac{m+k}{m}\delta $ 로 제한됨을 보이며, 여기서 $ m $ 은 인간 주석 데이터, $ k $ 는 모델 주석 데이터, $ \delta $ 는 校정 오차이다.
• 훈련 분포에서 유사한 출력을 생성하는 일관된 校정을 보이는 모델일수록 편향 증폭이 낮음을 입증한다.
• 샘플링 기반 생성 방식의 안정성 특성을 활용하여, 빔 서치와 샘플링 간의 보간을 통해 빔 서치를 안정화시키는 개선 전략을 제안한다.
• 삼각 부등식과 반복 기대값을 이용한 재귀적 경계 분석을 통해 안정성 경계를 유도하며, 핵심 보조정리로 $ \delta_{n_t} \leq \delta_{n_0} $ 과 $ c_t \leq \frac{k}{m} $ 를 도출한다.

실험 결과

연구 질문

• RQ1 기계학습 시스템에서 데이터 피드백이 어떤 조건에서 안정적이거나 불안정한 편향 증폭을 초래하는가?
• RQ2 모델 출력이 훈련 분포와 유사한 방식으로 행동하는 일관된 校정이 피드백 루프의 안정성에 어떤 영향을 미치는가?
• RQ3 다양한 생성 전략(예: 빔 서치 대비 샘플링)은 편향 증폭에 대해 얼마나 다른 민감도를 보이는가?
• RQ4 샘플링 유사 행동을 활용함으로써 비샘플링 방법(예: 빔 서치)을 안정화시킬 수 있는가?
• RQ5 이론적 경계인 편향 증폭에 대해, 다양한 작업(예: 이미지 태깅, 텍스트 생성)에서 경험적 관찰과 얼마나 일치하는가?

주요 결과

• 샘플링 유사 행동을 보이는 모델—즉, 일관된 校정을 보이는 모델—는 데이터 피드백 루프에서 더 안정적이며, 편향 증폭에 덜 민감하다.
• 편향 분포가 비대칭인 이미지 분류 작업에서 피드백 동역학은 안정적으로 유지되었으며, 이론적 예측과 일치하였다.
• 시각적 역할 레이블링 작업에서는 높은 초기 校정 오차로 인해 성별 편향이 크게 증폭되었으며, 이는 이전 연구 결과와 일치하였다.
• 언어 생성 작업에서는 피드백 과정에서 독성과 반복성이 증가했으며, 빔 서치는 샘플링 기반 방법보다 훨씬 더 불안정한 경향을 보였다.
• 빔 서치와 샘플링 간의 보간을 활용한 제안된 개선 전략은 샘플링의 안정적 행동을 활용하여 빔 서치를 성공적으로 안정화시켰다.
• 편향 증폭에 대한 이론적 경계 $ \frac{m+k}{m}\delta $ 는 경험적으로 검증되었으며, 더 많은 인간 주석 데이터($ m $)와 낮은 校정 오차($ \delta $)가 증폭을 감소시킴을 보여주었다.