[論文レビュー] Data Shapley Valuation for Efficient Batch Active Learning

Amirata Ghorbani, James Zou+1 more|arXiv (Cornell University)|Apr 16, 2021

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、アドホックなデータシャープリー（ADS）を提案する。ADSは、ラベルなしデータプールからモデル性能への寄与度を推定することで、バッチアドホックラーニングを実行する前に高価値のデータポイントを事前に選別する線形時間のフィルタリング手法である。各データポイントの寄与度を推定することで、平均して6倍の効率向上を達成し、特にノイジーで不均一な、あるいはドメインシフトを受けるデータ分布下でも、下流の精度を維持または向上させる。

ABSTRACT

Annotating the right set of data amongst all available data points is a key challenge in many machine learning applications. Batch active learning is a popular approach to address this, in which batches of unlabeled data points are selected for annotation, while an underlying learning algorithm gets subsequently updated. Increasingly larger batches are particularly appealing in settings where data can be annotated in parallel, and model training is computationally expensive. A key challenge here is scale - typical active learning methods rely on diversity techniques, which select a diverse set of data points to annotate, from an unlabeled pool. In this work, we introduce Active Data Shapley (ADS) -- a filtering layer for batch active learning that significantly increases the efficiency of active learning by pre-selecting, using a linear time computation, the highest-value points from an unlabeled dataset. Using the notion of the Shapley value of data, our method estimates the value of unlabeled data points with regards to the prediction task at hand. We show that ADS is particularly effective when the pool of unlabeled data exhibits real-world caveats: noise, heterogeneity, and domain shift. We run experiments demonstrating that when ADS is used to pre-select the highest-ranking portion of an unlabeled dataset, the efficiency of state-of-the-art batch active learning methods increases by an average factor of 6x, while preserving performance effectiveness.

研究の動機と目的

• 大規模なラベルなしデータセットにスケーリングする際、計算コストが高く、効率が悪いバッチアドホックラーニングの問題を解決すること。
• ラベルなしデータがノイジーで不均一、あるいはドメインシフトを受けるような現実世界の設定において、ロバスト性を向上させること。
• 既存の多様性ベースのアドホックラーニング手法に性能を犠牲にすることなく、スケーラブルで効率的なフィルタリング機構を開発すること。
• データシャープリー値が、アドホックラーニングにおける高インパクトなデータポイントの選別に信頼できるユーティリティ指標として機能することを示すこと。
• 収集済みのデータセットと現実的でノイジーなデータシナリオ（Webスクレイピングや損傷を受けていたデータを含む）の両方で、手法の有効性を検証すること。

提案手法

• ADSは、各データポイントのモデル性能への寄与度を推定するための高速で線形時間の近似法を用いて、すべてのラベルなしデータポイントのデータシャープリー値を計算する。
• シャープリー値の推定値に基づき、上位k個の高価値ポイントのみを選別することで、ラベルなしプールを事前フィルタリングする。
• フィルタリングされたサブセットは、標準的な多様性ベースのアドホックラーニング手法（例：CoreSet）に供給され、最終的なバッチを注釈付ける。
• シャープリー値は、訓練データのすべての可能な部分集合におけるデータポイントの平均限界寄与度として定義され、モンテカルロサンプリングを用いて近似される。
• この手法は、下流のアドホックラーニングアルゴリズムに依存しないように設計されており、既存のバッチ選択フレームワークへのプラグイン統合を可能にする。
• モデルの予測値と勾配を活用することで、各データポイントの最終的なモデル精度への影響を効率的に推定する。

Figure 1: Effect of Data Shapley Valuation on Active Learning. (Top) Unlabeled data is filtered via Active Data Shapley Valuation to obtain the small subset that ranks highest by value. This is fed through a standard diversity method for active learning (e.g. CoreSet [ 29 ] ) to determine the points

実験結果

リサーチクエスチョン

• RQ1 データシャープリー値を用いて、バッチアドホックラーニングの計算効率を向上させるために、ラベルなしデータを効率的に事前フィルタリングできるか？
• RQ2 ノイズ、ドメインシフト、データの不均一性といった現実世界のデータ条件下で、ADSはどのように動作するか？
• RQ3 シャープリーに基づくフィルタリングを用いることで、標準的なアドホックラーニングベースラインと比較して、モデル性能が維持または向上するか？
• RQ4 ADSは、多様性ベースのアドホックラーニング手法の計算負荷をどの程度軽減できるか？
• RQ5 Webから収集された大規模で低品質なラベルなしデータセットに適用した場合、ADSはどの程度のロバスト性を示すか？

主な発見

• ADSは、最先端のバッチアドホックラーニング手法の計算効率を平均で6.4倍向上させ、主に高価値の多様性手法への入力サイズを削減することで達成された。
• CINIC-10をノイジーでドメインシフトを受けるラベルなしプールとして用いたCIFAR-10では、ADSを統合したアドホックラーニングが、すべてのベースラインを上回る最高の性能を達成した。
• 80%がノイジーな画像を含むSVHNでは、ADSを統合したアドホックラーニングが、ランダム選択や他のベースラインを著しく上回り、データ損傷に対するロバスト性を示した。
• 多くの分布外および誤ってラベル付けされた例を含むCheap-10というWebスクレイピングによるデータセットでは、ADSを統合した手法が、代替手法を著しく上回り、ランダム選択をも凌駆する性能を示した。
• 収集済みのデータセットや現実世界のノイジーなデータを含む多様なデータ分布においても、ADSは高い性能を維持し、実用的環境におけるロバスト性を実証した。
• ADSは、特にO(n³)のアルゴリズムにおいて、多様性ベースのアドホックラーニングのスケーラビリティを向上させ、処理対象のデータポイント数を削減することで、計算コストの高い手法への適用を可能にした。

Figure 2: Active Data Shapley Enhancing a Diversity Method. (a) Given a trained model, labeled data is featurized, exact Shapley values are computed, and a regression model is trained to predict Shapley values from features. (b) Unlabeled data is featurized, and Shapley values are estimated with the