[論文レビュー] Bias Reduction via End-to-End Shift Learning: Application to Citizen Science

Di Chen, Carla P. Gomes|arXiv (Cornell University)|Nov 1, 2018

Species Distribution and Climate Change参考文献 23被引用数 3

ひとこと要約

本稿では、変数シフトを補正するためのエンドツーエンドのディープラーニングフレームワークであるシフト補正ネットワーク（SCN）を提案する。SCNは、識別器を用いてシフト要因を同時に学習し、重み付けによる特徴空間平均の一致を実現することで、市民科学データにおける共変量シフトを是正する。eBirdの鳥観察データに適用した結果、偏りのあるサンプリングパターンを示すテストセットにおいて、AUCで最大3.46%、F1スコアで最大5.36%の性能向上を達成した。

ABSTRACT

Citizen science projects are successful at gathering rich datasets for various applications. However, the data collected by citizen scientists are often biased --- in particular, aligned more with the citizens' preferences than with scientific objectives. We propose the Shift Compensation Network (SCN), an end-to-end learning scheme which learns the shift from the scientific objectives to the biased data while compensating for the shift by re-weighting the training data. Applied to bird observational data from the citizen science project eBird, we demonstrate how SCN quantifies the data distribution shift and outperforms supervised learning models that do not address the data bias. Compared with competing models in the context of covariate shift, we further demonstrate the advantage of SCN in both its effectiveness and its capability of handling massive high-dimensional data.

研究の動機と目的

• 市民科学プロジェクトにおいて、ボランティアの寄与が都市部やアクセスしやすい地域に偏るという、データバイアスの広範な問題に対処すること。
• 偏った訓練データと偏りのない科学的テストデータの間の分布シフトを定量化・是正できる、スケーラブルでエンドツーエンドのディープラーニング手法を開発すること。
• データの再収集を必要とせず、サンプリングバイアスを補償することで、実世界の科学的評価タスクにおける機械学習モデルの性能を向上させること。
• 高次元で大規模なデータセットにおいて、判別的シフト推定と特徴空間平均マッチングを統合することで、モデルの一般化性能がどのように向上するかを実証すること。

提案手法

• SCNは、訓練分布（P）とテスト分布（Q）のサンプルを区別する識別器ネットワークを用い、密度比の比 q(x)/p(x) としてシフト要因を学習する。
• 訓練特徴の重み付き平均とテスト特徴の平均を一致させる特徴空間平均マッチング損失を組み込み、シフト推定の精度を向上させる。
• 分類損失に加え、シフト推定のための判別損失と、分布整合性のための特徴空間平均マッチング損失の2つの補助損失を統合的に最適化する。
• 訓練の安定化と一般化性能の向上を図るため、特徴空間平均マッチング損失に対して移動平均推定を採用する。
• 最終的なモデルは、推定されたシフト要因を用いて訓練サンプルの重みを再調整し、テスト分布下での分類誤差を最小化する。
• フレームワークはエンドツーエンドで訓練され、シフト推定とモデル予測の両方を同時に最適化可能である。

実験結果

リサーチクエスチョン

• RQ1 高次元特徴を有する実世界の市民科学データにおいて、エンドツーエンドのディープラーニングモデルが共変量シフトを効果的に推定・是正できるか。
• RQ2 判別的シフト推定と特徴空間平均マッチングを統合することで、偏りのないテストデータにおけるモデルの一般化性能がどのように向上するか。
• RQ3 バッチ単位の推定と比較して、特徴空間平均マッチングに移動平均推定を用いることで得られる影響は何か。
• RQ4 大規模な生物多様性データにおいて、SCNは既存のドメイン適応や共変量シフト是正手法を上回る予測性能を示すか。
• RQ5 学習されたシフト要因は、観察データにおける空間バイアスを軽減するために、どのようにサンプリング重みを再配分するか。

主な発見

• Google Earth画像を用いたテストデータにおいて、SCNはAUC 83.80%、F1スコア 62.37%を達成し、DFW、KLIEP、KDEを含むすべてのベースラインを上回った。
• 判別的損失と平均マッチング損失の両方を有するSCN（SCN）は、Google Earth画像ベンチマークで最高のAUC（83.80%）とF1スコア（62.37%）を記録した。
• 重み付き訓練データとテストデータの間の特徴空間乖離を0.0182にまで低減したが、これはヴァナイルモデルの0.8006と比べて顕著に低い値であり、効果的な分布整合性を示している。
• 特徴空間平均マッチング損失のみを用いた場合（SCN_FSMM）でも、すべてのベースラインを上回る性能を達成しており、重み推定が不適切であっても頑健であることが示された。
• 移動平均推定を用いた平均マッチング損失（SCN）は、バッチ単位推定（SCN-）を上回る性能を示し、安定した訓練における重要性を裏付けた。
• 可視化分析の結果、シフト要因がニューヨーク州全体にわたり観察密度をより均等に再配分し、都市部への過剰集中を軽減していることが明らかになった。