[論文レビュー] Removing the influence of a group variable in high-dimensional predictive modelling

Emanuele Aliverti, Kristian Lum+2 more|arXiv (Cornell University)|Oct 18, 2018

Functional Brain Connectivity Studies参考文献 41被引用数 5

ひとこと要約

本稿では、高次元データXから余計なグループ変数Zの影響を除去するための制約付き行列分解手法、直交群（OG）回帰を提案する。この手法により、調整済みデータ上で訓練された予測モデルがZと統計的に独立になるように保証される。Xを特異ベクトルに射影しながら、最小二乗法を用いてZとの線形関連を除去することにより、情報損失を最小限に抑えつつ統計的独立性を保証する。神経科学および犯罪裁判分野への応用において、本手法の頑健性と一般化能が示された。

ABSTRACT

In many application areas, predictive models are used to support or make important decisions. There is increasing awareness that these models may contain spurious or otherwise undesirable correlations. Such correlations may arise from a variety of sources, including batch effects, systematic measurement errors, or sampling bias. Without explicit adjustment, machine learning algorithms trained using these data can produce poor out-of-sample predictions which propagate these undesirable correlations. We propose a method to pre-process the training data, producing an adjusted dataset that is statistically independent of the nuisance variables with minimum information loss. We develop a conceptually simple approach for creating an adjusted dataset in high-dimensional settings based on a constrained form of matrix decomposition. The resulting dataset can then be used in any predictive algorithm with the guarantee that predictions will be statistically independent of the group variable. We develop a scalable algorithm for implementing the method, along with theory support in the form of independence guarantees and optimality. The method is illustrated on some simulation examples and applied to two case studies: removing machine-specific correlations from brain scan data, and removing race and ethnicity information from a dataset used to predict recidivism. That the motivation for removing undesirable correlations is quite different in the two applications illustrates the broad applicability of our approach.

研究の動機と目的

• 高次元予測モデリングにおける結果変数Yと余計なグループ変数Zとの間の誤った相関を解消すること。
• ZとYの関連を除去しながらも、科学的に意味のある信号を保持する前処理技術を開発すること。
• 調整済みデータ上で訓練された任意の予測モデルがZと統計的に独立になるように保証することにより、一般化能と公平性を向上させること。
• 調整済みデータにおける情報損失の最適性と独立性に関する理論的保証を提供すること。
• レースの影響が予測に歪みをもたらす医療画像や犯罪予測分野など、多様な分野への広範な適用可能性を示すこと。

提案手法

• 本手法は、特異値分解（SVD）の制約付き形式を用い、データ行列XをZと直交する低ランク成分に分解する。
• 各主成分jについて、X u_j^Tの残差を計算し、Zの線形効果を最小二乗法で推定したλ_jを用いて除去する。
• 最適な基底ベクトルu_jは、Xの右特異ベクトルとして得られ、直交制約下での再構成誤差を最小化する。
• Xを各u_jに射影した結果がZと無相関であることを保証することで、調整済みデータとZとの間の統計的独立性を実現する。
• 解釈性の向上と過学習の低減を目的として、Lasso型正則化を用いたソフトスレッショーティングを導入したスパース版（sog）を提案する。
• アルゴリズムは反復的に実装され、収束するまでスコアベクトルs_jとローディングベクトルu_jを順次更新し、各ステップで直交化を実施することで独立性を維持する。

実験結果

リサーチクエスチョン

• RQ1 Zの影響を最小限に抑えつつ、高次元データを前処理してグループ変数Zの影響を除去できるか？
• RQ2 調整済みデータが予測モデリングの文脈でZと統計的に独立であることを数学的に保証する方法は何か？
• RQ3 Zとの関連を除去する最適な低ランク近似Xは何か？ また、予測性能と独立性の観点から、従来のバッチ補正手法と比較してどうなるか？
• RQ4 解釈性を向上させるためにスパース表現に拡張可能か？ その際、独立性や再構成精度を損なわずに行えるか？
• RQ5 グループレベルのバイアス（例：犯罪予測における人種、神経画像における機器タイプ）がモデルの出力を歪める実世界の応用において、本手法はどのように性能を発揮するか？

主な発見

• OG手法は、直交分解と最小二乗制約の構成的性質により、調整済みデータとグループ変数Zとの間で統計的独立性を達成し、理論的保証が得られる。
• Frobeniusノルム分解を用いた理論的証明により、Zと直交する制約下でXの最良の低ランク近似を保持するという点で、情報損失を最小化する。
• 脳画像解析の事例では、fMRIデータから機器固有のアーティファクトを効果的に除去し、異なるスキャナ間でのモデル一般化能を向上させた。
• 再犯予測の事例では、調整済みモデルが人種や民族を代理変数として用いなくなったため、不平等な差が低減したが、予測精度は維持された。
• スパースOG版（sog）は、ローディングベクトルのスパarsityを促進することで解釈性を向上させ、関連する特徴を選択しつつZからの独立性を維持した。
• 実験的結果から、OG手法は標準SVDやバッチ補正手法よりも、信号の保持と誤ったグループレベルの関連の除去の両面で優れた性能を示した。