[論文レビュー] REPAIR: Removing Representation Bias by Dataset Resampling

Yi Li, Nuno Vasconcelos|arXiv (Cornell University)|Apr 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 15

ひとこと要約

本稿では、バイアス最小化をミニマックス最適化問題として定式化することで、表現バイアスを低減する微分可能で再サンプリング可能な手法REPAIRを提案する。確率的勾配降下法を用いて分類器の重みとサンプルの再サンプリング重みを繰り返し更新することで、動画データセットにおける静的バイアスを低減し、モデルの汎化性能を向上させる。KineticsではmAPが2%向上し、I3Dモデルでは時間的構造スコアが向上したことが実証された。

ABSTRACT

Modern machine learning datasets can have biases for certain representations that are leveraged by algorithms to achieve high performance without learning to solve the underlying task. This problem is referred to as "representation bias". The question of how to reduce the representation biases of a dataset is investigated and a new dataset REPresentAtion bIas Removal (REPAIR) procedure is proposed. This formulates bias minimization as an optimization problem, seeking a weight distribution that penalizes examples easy for a classifier built on a given feature representation. Bias reduction is then equated to maximizing the ratio between the classification loss on the reweighted dataset and the uncertainty of the ground-truth class labels. This is a minimax problem that REPAIR solves by alternatingly updating classifier parameters and dataset resampling weights, using stochastic gradient descent. An experimental set-up is also introduced to measure the bias of any dataset for a given representation, and the impact of this bias on the performance of recognition models. Experiments with synthetic and action recognition data show that dataset REPAIR can significantly reduce representation bias, and lead to improved generalization of models trained on REPAIRed datasets. The tools used for characterizing representation bias, and the proposed dataset REPAIR algorithm, are available at https://github.com/JerryYLi/Dataset-REPAIR/.

研究の動機と目的

• モデルが静的フレームや背景といった偶然的な手がかりに過剰適合するなど、機械学習データセットにおける表現バイアスの問題に対処すること。
• 与えられた特徴表現に対して、データセットにおける表現バイアスを測定・定量化する手法を開発すること。
• 表現バイアスを最小化しつつ、タスク関連の情報を保持する微分可能で最適化に基づく再サンプリング戦略を提案すること。
• バイアス低減の影響が、異なるデータセットおよびアーキテクチャにおけるモデルの汎化性能と公平性に与える影響を評価すること。
• モデル性能と汎化性能に対するデータセットバイアスの影響を評価する再現可能な実験フレームワークを提供すること。

提案手法

• 表現バイアスの最小化をミニマックス問題として定式化：再重み付けされたデータセットにおける分類損失の比率を、真のラベルの不確実性で最大化する。
• 関心のある表現を抽出するための深層ニューラルネットワークを特徴抽出器として用い、その後に線形分類器を設けて例レベルの損失を計算する。
• ミニマックス問題を解くために、確率的勾配降下法（SGD）を用いて分類器パラメータとデータセット再サンプリング重みを交互に更新する。
• 現在のモデルが簡単に分類できる例にペナルティを与える微分可能な再重み付け方式を採用し、バイアスの強い表現への依存を低減する。
• 動画のダイナミクスに依存するモデルの程度を測るための時間的構造スコアを導入し、元のクリップと時間反転したクリップの特徴ベクトル間の平均ユークリッド距離として計算する。
• 実世界のデータセット（Kinetics、HMDB51、UCF101）にREPAIR手順を適用し、ランダムサブサンプリングおよびベースライン学習と結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 微分可能でエンドツーエンドのフレームワークを用いて、動画データセットにおける表現バイアスをどの程度定量的・測定可能にできるか？
• RQ2 REPAIRに基づく再サンプリングは、ランダムサブサンプリングと比較して、バイアスのあるデータセットで学習されたモデルの汎化性能にどのように影響するか？
• RQ3 動画データセットにおける静的バイアスの低減は、フレームレベルの手がかりではなく、時間的ダイナミクスに依存するモデルを生み出すか？
• RQ4 表現バイアスは、異なるデータセット間でのモデル評価の公平性と比較可能性にどのように影響するか？
• RQ5 REPAIRは、バイアス不一致が既知の問題である下流データセットにおいて、モデル性能を向上させることができるか？

主な発見

• REPAIRは合成Colored MNISTと実世界のアクション認識データセットの両方で表現バイアスを低減し、ランダムサブサンプリングと比較して統計的に有意な改善を示した。
• Kineticsでは、REPAIRで処理されたデータセットで学習したI3Dモデルの平均平均精度（mAP）が、元のデータセットで学習したモデルと比較して約2%向上した。
• KineticsとHMDB51の共通12クラスにおいて、7/12のクラスで静的バイアスと汎化性能の間に強い負の相関が観察され、バイアス低減が汎化性能の向上に寄与することを示した。
• REPAIRで処理されたデータセットで学習したI3Dモデルは、より高い時間的構造スコアを示した—これは動画ダイナミクスへの依存度が高まっていることを示唆している。特に、バイアスの強い例がより多く除去された場合に顕著であった。
• 時間的構造スコアの上昇はREPAIRに特有のものであり、ランダムサブサンプリングでは観察されなかった。これは、単なるデータ削減ではなく、バイアスの除去が時間的モデリングの向上をもたらしていることを裏付けた。
• 実験設定から、表現バイアスがモデルの汎化性能と公平性に顕著な影響を及ぼすことが明らかであり、REPAIRが複数のベンチマークでこれらの問題を効果的に緩和できることを示した。