[논문 리뷰] Causality-aware counterfactual confounding adjustment for feature representations learned by deep models

Elias Chaibub Neto|arXiv (Cornell University)|2020. 04. 20.

Bayesian Modeling and Causal Inference참고 문헌 43인용 수 6

한 줄 요약

이 논문은 소프트맥스 출력을 갖는 딥 네ural 네트워크(DNN)의 선형 모델링 단계를 활용하여 DNN 특징 표현에 대해 인과적 인지가 가능한 역인과적 혼란 조정 방법을 제안한다. 마지막 이전 레이어의 특징—즉, 레이블과 선형적으로 관련된 특징—을 사용하여, 역인과적 방법을 통해 선형 혼란 조정을 수행함으로써, 데이터셋 이동 상황에서도 모델의 안정성을 크게 향상시키면서도, 이동이 없는 경우 성능을 유지한다.

ABSTRACT

Causal modeling has been recognized as a potential solution to many challenging problems in machine learning (ML). Here, we describe how a recently proposed counterfactual approach developed to deconfound linear structural causal models can still be used to deconfound the feature representations learned by deep neural network (DNN) models. The key insight is that by training an accurate DNN using softmax activation at the classification layer, and then adopting the representation learned by the last layer prior to the output layer as our features, we have that, by construction, the learned features will fit well a (multi-class) logistic regression model, and will be linearly associated with the labels. As a consequence, deconfounding approaches based on simple linear models can be used to deconfound the feature representations learned by DNNs. We validate the proposed methodology using colored versions of the MNIST dataset. Our results illustrate how the approach can effectively combat confounding and improve model stability in the context of dataset shifts generated by selection biases.

연구 동기 및 목표

• 학습 데이터 내의 혼란 요인과 선택 편향으로 인해 발생하는 DNN 내 임의의 상관관계 문제를 해결하기 위해.
• 원래 선형 구조적 인과 모델을 위한 것으로 설계된 역인과적 혼란 조정 방법을 딥 특징 표현에 적응시키기 위해.
• 학습된 표현을 혼란 제거함으로써 모델의 일반화 및 데이터셋 이동 상황에서의 안정성을 향상시키기 위해.
• 역인과적 조정을 통해 DNN 특징을 조정한 것이 SMOTE와 같은 데이터 균형 조정 방법보다 예측 안정성 유지에 뛰어나다는 것을 검증하기 위해.
• 모델 재학습 없이도 실용적이고 침습적이지 않은 DNN 특징의 혼란 제거 방법을 제공하기 위해.

제안 방법

• 최종 출력 레이어에 소프트맥스 활성화 함수를 사용하여 딥 네럴 네트워크를 학습함으로써, 마지막 이전 레이어의 특징이 클래스 레이블과 선형적으로 관련되도록 보장한다.
• 소프트맥스 출력 이전의 마지막 은닉 레이어에서 특징 표현을 추출하여 혼란 조정의 입력으로 사용한다.
• 관측된 혼란 요인(예: MNIST에서의 이미지 색상)을 사용하여, 특징의 선형 모델링 기반으로 역인과적 혼란 조정 방법을 적용하여 예측에서 혼란 요인의 영향을 제거한다.
• 특징, 혼란 요인, 레이블 간의 관계를 선형 회귀로 모델링한 후, 혼란 요인의 영향을 제거한 역인과적 특징을 생성한다.
• 조건부 독립성 검정을 통해 조정 효과를 평가한다: 조정된 특징이 진짜 레이블을 조건으로 하여 혼란 요인과 독립적인지 확인한다.
• 부분 상관계수 분석을 사용하여 실용적인 타당성 검증을 수행하여, 조정된 특징이 레이블 조건 하에서 혼란 요인과 조건부 독립임을 확인한다.

실험 결과

연구 질문

• RQ1 선형 모델을 위한 것으로 설계된 역인과적 혼란 조정 방법이 딥 네럴 네트워크가 학습한 특징 표현에 효과적으로 적용될 수 있는가?
• RQ2 DNN 특징의 역인과적 조정이 선택 편향으로 인한 데이터셋 이동 상황에서 모델 안정성을 향상시키는가?
• RQ3 예측 안정성 측면에서 제안된 방법은 SMOTE와 같은 데이터 균형 조정 방법보다 어떻게 비교되는가?
• RQ4 조건부 독립성 검정을 통해 역인과적 조정의 효과가 경험적으로 검증 가능한가?
• RQ5 혼란 요인이 예측에 기여하지 않을 경우, 즉 혼란 요인이 예측에 유의미한 경우에도 성능이 유지되는가?

주요 결과

• 부분 상관계수 분석 결과, 진짜 레이블 조건 하에서 조정된 특징과 혼란 요인 간의 상관계수가 진짜 레이블 조건 하에서 거의 0에 중심화되어 있음을 확인하여, 인과적 인지가 가능한 역인과적 조정이 혼란 효과를 효과적으로 제거했음을 입증하였다.
• 역인과적 조정된 특징으로 학습된 분류기는 모든 수준의 데이터셋 이동 상황에서도 강력한 일반화 성능을 유지하였고, 조정되지 않은 모델은 성능이 심각하게 저하되었다.
• 데이터셋 이동이 없는 상황에서 색상이 예측에 기여하는 경우, 역인과적 조정은 성능을 저하시켰다—이는 임의의 상관관계를 성공적으로 억제했음을 확인한다.
• 데이터셋 이동 상황에서 예측 안정성 측면에서 제안된 방법은 SMOTE 기반 균형 조정 방법보다 뛰어나, 훈련 및 테스트 특징 양쪽 모두에서 혼란 제거의 이점을 입증하였다.
• 이 방법은 계산적으로 경량이며, 사전 학습된 DNN 특징에 대한 선형 회귀 피팅만으로도 가능하며, DNN의 재학습이 필요하지 않다.
• 조건부 독립성 패턴을 이용한 경험적 타당성 검증을 통해 조정이 원하는 통계적 성질을 달성했음을 확인하여, 방법의 효과성을 검증하였다.