[논문 리뷰] Removing the influence of a group variable in high-dimensional predictive modelling

Emanuele Aliverti, Kristian Lum외 2명|arXiv (Cornell University)|2018. 10. 18.

Functional Brain Connectivity Studies참고 문헌 41인용 수 5

한 줄 요약

이 논문은 고차원 데이터 X에서 혼란 변수 Z의 영향을 제거하기 위해 제약 조건이 부여된 행렬 분해 방법인 직교 그룹(OG) 회귀를 제안한다. 이 방법은 조정된 데이터로 훈련된 예측 모델이 Z와 통계적으로 독립이 되도록 보장한다. X를 단일값 분해의 주성분에 투영하면서 최소제곱법을 사용해 Z와의 선형 연관성을 제거함으로써, 정보 손실를 최소화하면서도 통계적 독립성을 보장한다. 뇌과학 및 범죄 정책 분야에서의 응용 사례를 통해 이 방법의 강건성과 일반화 능력이 입증되었다.

ABSTRACT

In many application areas, predictive models are used to support or make important decisions. There is increasing awareness that these models may contain spurious or otherwise undesirable correlations. Such correlations may arise from a variety of sources, including batch effects, systematic measurement errors, or sampling bias. Without explicit adjustment, machine learning algorithms trained using these data can produce poor out-of-sample predictions which propagate these undesirable correlations. We propose a method to pre-process the training data, producing an adjusted dataset that is statistically independent of the nuisance variables with minimum information loss. We develop a conceptually simple approach for creating an adjusted dataset in high-dimensional settings based on a constrained form of matrix decomposition. The resulting dataset can then be used in any predictive algorithm with the guarantee that predictions will be statistically independent of the group variable. We develop a scalable algorithm for implementing the method, along with theory support in the form of independence guarantees and optimality. The method is illustrated on some simulation examples and applied to two case studies: removing machine-specific correlations from brain scan data, and removing race and ethnicity information from a dataset used to predict recidivism. That the motivation for removing undesirable correlations is quite different in the two applications illustrates the broad applicability of our approach.

연구 동기 및 목표

• 고차원 예측 모델링에서 결과 변수 Y와 혼란 변수 Z 사이의 허위 상관관계 문제를 해결하기 위해.
• Z와 Y 사이의 연관성을 제거하면서도 과학적으로 의미 있는 신호를 유지하는 전처리 기법을 개발하기 위해.
• 조정된 데이터로 훈련된 예측 모델이 Z와 통계적으로 독립이 되도록 보장하여 일반화 능력과 공정성을 향상시키기 위해.
• 조정된 데이터에 대해 독립성과 정보 손실 최적화에 대한 이론적 보장을 제공하기 위해.
• 인간 영상 분석 및 범죄 정책 분야 등에서 군집 수준의 편향이 모델 예측을 왜곡할 수 있는 분야에 넓은 적용 가능성을 보여주기 위해.

제안 방법

• 데이터 행렬 X를 Z와 수직인 성분으로 분해하는 제약 조건이 부여된 특이값 분해(SVD)의 형태를 사용한다.
• 각 주성분 j에 대해, Z의 선형 효과를 제거한 후 잔차로 얻어진 점수 s_j를 계산하며, λ_j를 최소제곱법으로 추정한다.
• 최적의 기저 벡터 u_j는 X의 우측 특이벡터로 유도되며, Z에 수직인 조건 하에서 재구성 오차를 최소화한다.
• 각 u_j에 대한 X의 투영이 Z와 상관이 없도록 함으로써, 조정된 데이터와 Z 사이의 통계적 독립성을 확보한다.
• 해당 성분의 로딩 벡터 u_j에 소프트 스트레스팅(Lasso 유형) 정규화를 적용한 희박한 변형(sog)을 도입하여, 더 나은 해석 가능성과 과적합 방지를 도모한다.
• 알고리즘은 수렴할 때까지 반복적으로 점수 벡터 s_j와 로딩 벡터 u_j를 순환 갱신하며, 매 단계에서 정규화를 수행하여 독립성을 유지한다.

실험 결과

연구 질문

• RQ1 고차원 데이터를 사전 처리하여 군집 변수 Z의 영향을 제거하면서도 결과와 관련된 신호의 정보 손실를 최소화할 수 있는가?
• RQ2 조정된 데이터가 예측 모델링 맥락에서 Z와 통계적으로 독립임을 수학적으로 보장할 수 있는가?
• RQ3 Z와의 연관성을 제거하는 최적의 저랭크 근사치는 무엇이며, 기존의 배치 보정 방법과 비교해 예측 성능 및 독립성 측면에서 어떻게 성능을 발휘하는가?
• RQ4 이를 해석 가능성 향상이 가능한 희박한 표현으로 확장할 수 있는가? 이 경우 독립성 또는 재구성 정확도를 손상시키지 않는가?
• RQ5 인종이 재범 예측에서나 뇌 영상에서 기계 유형이 영향을 미치는 실제 응용 분야에서, 이 방법은 군집 수준의 편향이 모델 결과를 왜곡할 수 있는 상황에서 어떻게 성능을 발휘하는가?

주요 결과

• OG 방법은 직교 분해와 최소제곱 제약 조건을 통해 조정된 데이터와 군집 변수 Z 사이의 통계적 독립성을 구성적으로 달성하며, 이론적 보장이 있다.
• Z에 수직인 조건 하에서 X의 최적의 저랭크 근사치를 유지함으로써 정보 손실를 최소화하며, 프로베니우스 노름 분해를 통해 이를 증명하였다.
• 뇌 영상 사례 연구에서, 이 방법은 fMRI 데이터에서 기계 특유의 잡음 요소를 성공적으로 제거하여 스캐너 간 일반화 능력을 향상시켰다.
• 재범 예측 사례에서, 조정된 모델은 더 이상 인종이나 민족을 대체 지표로 사용하지 않아 불공정한 격차를 감소시키면서도 예측 정확도를 유지하였다.
• 희박한 OG 변형(sog)은 로딩 벡터의 희박성을 유도함으로써 더 나은 해석 가능성을 달성했으며, Z와의 독립성을 유지하면서도 관련 특징을 선택할 수 있었다.
• 실증 결과에 따르면, OG 방법은 표준 SVD 및 배치 보정 방법보다 신호 유지 능력과 허위 군집 수준 연관성 제거 능력에서 뛰어난 성능을 보였다.