[論文レビュー] Robustness to Spurious Correlations via Human Annotations

Megha Srivastava, Tatsunori Hashimoto+1 more|arXiv (Cornell University)|Jul 13, 2020

Machine Learning and Data Classification被引用数 26

ひとこと要約

本稿では、未測定の交絡要因（例：喫煙、人種、場所）のヒトによる自然言語による記述を活用することで、誤った相関関係に対するモデルの頑健性を向上させるUV-DROというフレームワークを提案する。これらの記述を未観測変数の代理として扱い、潜在的なテスト時シフトを考慮した分布頑健最適化の目的関数を定式化することで、文字認識タスクでは5–10%の精度向上、NYPDの検挙予測タスクでは1.5–5%の向上を達成し、オラクル性能に近づいた。

ABSTRACT

The reliability of machine learning systems critically assumes that the associations between features and labels remain similar between training and test distributions. However, unmeasured variables, such as confounders, break this assumption---useful correlations between features and labels at training time can become useless or even harmful at test time. For example, high obesity is generally predictive for heart disease, but this relation may not hold for smokers who generally have lower rates of obesity and higher rates of heart disease. We present a framework for making models robust to spurious correlations by leveraging humans' common sense knowledge of causality. Specifically, we use human annotation to augment each training example with a potential unmeasured variable (i.e. an underweight patient with heart disease may be a smoker), reducing the problem to a covariate shift problem. We then introduce a new distributionally robust optimization objective over unmeasured variables (UV-DRO) to control the worst-case loss over possible test-time shifts. Empirically, we show improvements of 5-10% on a digit recognition task confounded by rotation, and 1.5-5% on the task of analyzing NYPD Police Stops confounded by location.

研究の動機と目的

• 喫煙、人種、場所などの未測定の交絡要因によって引き起こされる分布シフトに起因するモデルの失敗を解消すること。
• 因果関係に関するヒトの常識的知識を活用して、妥当なテスト時分布シフトを同定すること。
• 交絡変数の明示的測定が不要な方法を開発し、モデルの頑健性を向上させること。
• 未測定変数の自然言語アノテーションが、分布頑健最適化を効果的に導くことができることを実証すること。

提案手法

• ラベル予測を説明する可能性のある未測定変数（UV）のヒトによる自然言語記述を訓練データに追加する。
• クラウドソーシングで得た $ c \mid x, y $ のサンプルを用いて、観測特徴 $ x $ とラベル $ y $ 条件付きの潜在的要因 $ c $ をモデル化する。
• 潜在的なテスト時シフト $ (x, c) $ における最悪の期待損失を最小化する新しい目的関数、UV-DRO（未測定変数分布頑健最適化）を定式化する。
• アノテーションから得た条件付き分布 $ p(c \mid x, y) $ を用いて、潜在的なテスト分布の集合 $ \mathcal{P} $ を定義し、共変量シフト型の一般化を可能にする。
• UV-DROを用いてモデルを訓練することで、多様な未測定交絡要因のシフトに対しても性能が頑健であることを保証する。
• 自由形式のアノテーションをベクトル表現（例：距離行列を用いて）に変換し、学習目的関数に統合する。

実験結果

リサーチクエスチョン

• RQ1 ヒトがアノテートした未測定交絡要因の自然言語記述は、誤った相関関係に対するモデルの頑健性を向上させることができるか？
• RQ2 UV-DROは、真の交絡要因分布を知っているオラクルモデルの性能をどの程度近づけることができるか？
• RQ3 未測定変数を伴う実世界のタスクにおいて、UV-DROは標準的なERMや既存のDROベースラインと比較してどの程度有効であるか？
• RQ4 ヒトがアノテートした未測定変数は、高リスク予測タスクにおいて人種や社会経済的文脈といった意味的で解釈可能な要因を的確に捉えているか？

主な発見

• 回転に起因する交絡があるMNIST文字認識タスクにおいて、UV-DROは標準的なERMや既存のDROベースラインを著しく上回り、5–10%の精度向上を達成した。
• NYPDの検挙予測タスクでは、UV-DROが1.5–5%の精度向上を達成し、ERMとオラクルDROモデルの差の約半分にまで近づいた。
• クラウドソーシングによるアノテーションは、人種、警察官の判断、暴力的犯罪といった解釈可能な未測定変数を的確に捉えており、モデルの重みはドメイン知識と整合的であった。
• アノテーションのみを用いて訓練したロジスティック回帰モデルは、64.8%の精度で検挙場所を予測でき、観測特徴のみを用いたモデル（61.3%）を上回った。
• アノテーションデータをシャッフルするか、標準的なDROベースラインを用いることで、ERMと同等の性能にとどまり、UV-DROの成功がヒトによるアノテーションの質と構造に起因していることを確認した。
• 結果として、自然言語アノテーションを通じて形式化されたヒトの常識的推論が、未測定交絡要因を効果的にモデル化し、頑健な一般化を可能にすることが示された。