[論文レビュー] Supervising Feature Influence

Shayak Sen, Piotr Mardziel+2 more|arXiv (Cornell University)|Mar 28, 2018

Machine Learning and Data Classification参考文献 8被引用数 6

ひとこと要約

本稿では、因果的影響を制約することで、因果的テストにおける共変量シフト——同じ分布内性能を示すモデルが特徴量の影響において著しく異なる——問題に取り組む、新しいアクティブラーニングアルゴリズムを提案する。反事後的クエリとガイド付き特徴選択を用いることで、基準モデルに近い因果的影響を持つモデルを訓練し、分布外一般化を向上させるとともに、分布内精度を維持する。

ABSTRACT

Causal influence measures for machine learnt classifiers shed light on the reasons behind classification, and aid in identifying influential input features and revealing their biases. However, such analyses involve evaluating the classifier using datapoints that may be atypical of its training distribution. Standard methods for training classifiers that minimize empirical risk do not constrain the behavior of the classifier on such datapoints. As a result, training to minimize empirical risk does not distinguish among classifiers that agree on predictions in the training distribution but have wildly different causal influences. We term this problem covariate shift in causal testing and formally characterize conditions under which it arises. As a solution to this problem, we propose a novel active learning algorithm that constrains the influence measures of the trained model. We prove that any two predictors whose errors are close on both the original training distribution and the distribution of atypical points are guaranteed to have causal influences that are also close. Further, we empirically demonstrate with synthetic labelers that our algorithm trains models that (i) have similar causal influences as the labeler's model, and (ii) generalize better to out-of-distribution points while (iii) retaining their accuracy on in-distribution points.

研究の動機と目的

• 分布内性能が同一であるにもかかわらず、因果的影響が著しく異なる因果的テストにおける共変量シフトの問題を特定・形式化すること。
• 反事後的クエリを用いたアクティブラーニングフレームワークを設計することで、この問題に対処すること。
• 分布外の点に対しても一般化性能を向上させつつ、分布内精度を維持すること。
• 信頼できる基準モデルとの特徴量影響の照合を可能にするメカニズムを提供することで、モデル開発における説明責任を確保すること。

提案手法

• 本手法は、特徴選択オラクルとラベルオラクルの二つのオラクルを用いる：ラベルオラクルは、他の特徴量を固定した上で特徴量を摂動することで反事後的データポイントを生成する。
• ベースモデルと現在のモデルの間で影響に最も大きな差異を示す特徴量を選択する、ガイド付きアクティブラーニング戦略を採用する。
• アルゴリズムは反事後的ポイントのラベルを繰り返し収集し、モデルを再訓練することで、因果的影響を基準モデルと一致させる。
• もし二つのモデルが元の分布および反事後分布の両方で類似した誤差を持つならば、それらの因果的影響も近いことを形式的に証明する。
• 本手法は、合成ラベルラーを用いて評価され、ロジスティック回帰、決定木、ランダムフォレストを用いて adult、arrests、lending club データセットでテストされた。
• 本手法には、反事後的ポイントの使用が与える影響を対比するための非反事後的ベースラインが含まれている。

実験結果

リサーチクエスチョン

• RQ1 分布内性能が同一であるにもかかわらず、因果的影響が著しく異なる共変量シフトが因果的テストで生じる条件は何か？
• RQ2 反事後的クエリを用いたアクティブラーニングは、モデルの因果的影響を基準モデルの影響と一致させることに有効か？
• RQ3 反事後的ラーニングを通じて因果的影響を制約することで、分布外データへの一般化性能が向上し、かつ分布内精度を損なわないか？
• RQ4 収束速度と影響一致の観点から、ガイド付き特徴選択はランダム選択や非反事後的選択と比べてどのように異なるか？

主な発見

• ガイド付きアクティブラーニング手法は、adult、arrests、lending club の3つのデータセットすべてで、基準モデルとの因果的影響の一致においてより速い収束を達成した。
• アルゴリズムは分布内精度を維持しており、元のデータ分布からのホールドアウトセットにおけるテスト誤差が安定的またはわずかに改善されたことで示された。
• 分布外一般化性能が向上した。これは、訓練セットに含まれない部分の存在する別々の偏りのないデータセット $D$ における誤差が減少することで裏付けられた。
• ランダムオラクルベースラインはガイド付きオラクルよりも収束が遅く、特徴選択戦略が効率に顕著に影響することを示した。
• 非反事後的ベースラインは因果的測定に影響を与えず、反事後的クエリが影響を形成するために不可欠であることを確認した。
• 本手法は、ベースモデルと基準モデルとの間の影響差を著しく低減し、因果的行動の有効な一致を示した。