[論文レビュー] Data Feedback Loops: Model-driven Amplification of Dataset Biases

Rohan Taori, Tatsunori Hashimoto|arXiv (Cornell University)|Sep 8, 2022

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

本稿は、機械学習におけるデータフィードバックループを形式化し、モデルが生成した予測を再利用して学習データとする場合、バイアスの拡大が生じることを明らかにする。安定性の鍵となるのは、モデルが学習分布からのサンプルのように振る舞う「一貫したキャリブレーション」であり、特にビームサーチのような非サンプリング手法に対し、フィードバックシステムを安定化するための干渉手法を提案する。

ABSTRACT

Datasets scraped from the internet have been critical to the successes of large-scale machine learning. Yet, this very success puts the utility of future internet-derived datasets at potential risk, as model outputs begin to replace human annotations as a source of supervision. In this work, we first formalize a system where interactions with one model are recorded as history and scraped as training data in the future. We then analyze its stability over time by tracking changes to a test-time bias statistic (e.g. gender bias of model predictions). We find that the degree of bias amplification is closely linked to whether the model's outputs behave like samples from the training distribution, a behavior which we characterize and define as consistent calibration. Experiments in three conditional prediction scenarios - image classification, visual role-labeling, and language generation - demonstrate that models that exhibit a sampling-like behavior are more calibrated and thus more stable. Based on this insight, we propose an intervention to help calibrate and stabilize unstable feedback systems. Code is available at https://github.com/rtaori/data_feedback.

研究の動機と目的

• インターネットデータから得られる機械学習データセットにおけるバイアス拡大のリスクを調査し、モデルの予測が人間のアノテーションに徐々に置き換わる状況を想定する。
• モデルの出力を将来の学習データとして収集するフィードバックループの形式的定式化を行い、バイアスの自己強化的循環を創出する。
• 学習分布からのサンプルのように振る舞うモデル、すなわち「一貫したキャリブレーション」が、フィードバックループにおけるバイアス拡大の安定化に重要な条件であると特定する。
• 特にビームサーチのような非サンプリング生成手法に対し、実用的な干渉手法を提案し、不安定なフィードバックシステムを安定化させる。
• 画像分類、視覚的役割ラベル付け、言語生成の3つの多様なタスクを通じて理論を検証し、理論的境界と実験的結果の整合性を示す。

提案手法

• 時刻 $ t $ におけるモデルの予測を収集し、$ f_{t+1} $ の学習データとして再利用するデータフィードバックループの設定を定義し、再帰的学習プロセスを構築する。
• テスト時バイアス（例：性別バイアスや毒性）を定量化するバイアス指標 $ \rho(x, \hat{y}) $ を導入し、時間経過に伴うバイアスの変化を追跡する。
• 理論的分析により、バイアス拡大は $ \frac{m+k}{m}\delta $ で有界であることが示され、ここで $ m $ は人間がアノテートしたデータ数、$ k $ はモデルがアノテートしたデータ数、$ \delta $ はキャリブレーション誤差を表す。
• 学習分布からの出力を生成する「一貫したキャリブレーション」を持つモデルは、バイアス拡大が小さいことを示す。
• ビームサーチとサンプリングベースの生成の間の補間を用いた干渉手法を提案し、サンプリングに類似した挙動を活用してビームサーチの安定化を図る。
• 三角不等式と繰り返し期待値を用いた再帰的バウンディングにより安定性バウンディングを導出し、$ \delta_{n_t} \leq \delta_{n_0} $ および $ c_t \leq \frac{k}{m} $ を示す重要な補題を提示する。

実験結果

リサーチクエスチョン

• RQ1 データフィードバックが機械学習システムにおいて、どのような条件下でバイアス拡大が安定または不安定になるか？
• RQ2 モデルの出力が学習分布に類似している「一貫したキャリブレーション」が、フィードバックループの安定性にどのように影響するか？
• RQ3 ビームサーチやサンプリングなど、異なる生成戦略は、バイアス拡大に対してどの程度異なる感受性を示すか？
• RQ4 サンプリングに類似した挙動を活用することで、ビームサーチのような非サンプリング手法を安定化できるか？
• RQ5 画像タグ付けやテキスト生成のような多様なタスクにおいて、バイアス拡大の理論的境界と実験的観察がどの程度一致するか？

主な発見

• サンプリングに類似した挙動を示す（一貫したキャリブレーションを持つ）モデルは、データフィードバックループにおいてより安定的であり、バイアス拡大のリスクが低い。
• 偏ったラベル分布を有する画像分類タスクでは、フィードバックダイナミクスが安定し、理論的予測と一致した。
• 視覚的役割ラベル付けタスクでは、初期のキャリブレーション誤差が高いため、性別バイアスが顕著に拡大した。これは先行研究の結果とも整合的である。
• 言語生成タスクでは、フィードバックにより毒性と繰り返しが増加したが、ビームサーチはサンプリングベースの手法に比べてはるかに高い不安定性を示した。
• ビームサーチとサンプリングの補間を用いた提案された干渉手法により、サンプリングの安定的挙動を活用して、ビームサーチの安定化に成功した。
• バイアス拡大の理論的境界 $ \frac{m+k}{m}\delta $ は実験的に検証され、人間アノテートデータ数（$ m $）が大きく、キャリブレーション誤差（$ \delta $）が低いほどバイアス拡大が小さくなることが確認された。