[논문 리뷰] Feature-Wise Bias Amplification

K. Rustan M. Leino, Emily Black외 3명|arXiv (Cornell University)|2018. 12. 21.

Machine Learning and Data Classification인용 수 10

한 줄 요약

이 논문은 기계 학습 분류기에서 특성별 편향 증폭을 규명하고 이를 해결한다—데이터 부족 상황에서 경사 하강법이 중간 정도로 예측력이 있는 '약한' 특성의 중요도를 과대평가함으로써 왜곡된 예측을 유도하기 때문이다. 저자들은 정확도를 희생시키지 않고 편향을 줄이는 두 가지 특성 선택 방법을 제안하며, VGG16과 같은 딥 네트워크에서 CelebA 데이터셋을 대상으로 최대 98%의 편향 감소를 달성하면서도 정확도를 유지하거나 향상시켰다.

ABSTRACT

We study the phenomenon of bias amplification in classifiers, wherein a machine learning model learns to predict classes with a greater disparity than the underlying ground truth. We demonstrate that bias amplification can arise via an inductive bias in gradient descent methods that results in the overestimation of the importance of moderately-predictive "weak" features if insufficient training data is available. This overestimation gives rise to feature-wise bias amplification -- a previously unreported form of bias that can be traced back to the features of a trained model. Through analysis and experiments, we show that while some bias cannot be mitigated without sacrificing accuracy, feature-wise bias amplification can be mitigated through targeted feature selection. We present two new feature selection algorithms for mitigating bias amplification in linear models, and show how they can be adapted to convolutional neural networks efficiently. Our experiments on synthetic and real data demonstrate that these algorithms consistently lead to reduced bias without harming accuracy, in some cases eliminating predictive bias altogether while providing modest gains in accuracy.

연구 동기 및 목표

• 경사 하강법의 기초가 되는 인도적 편향에 의해 약한 특성의 중요도가 과대평가되는, 이전에 보고되지 않은 형태의 편향 증폭을 규명하는 것.
• 클래스 사전 확률이 편향되지 않은 상황에서도 편향 증폭이 발생할 수 있음을 보여주며, 클래스 불균형이 유일한 원인이라는 가정에 도전하는 것.
• 정확도를 유지하거나 향상시키면서도 특성별 편향 증폭을 완화하는 특성 선택 기법을 개발하는 것.
• 이러한 방법들이 선형 모델과 딥 네트워크(예: VGG16) 모두에서 효과적임을 보여주는 것, 특히 실제 데이터셋에서의 성능을 확인하는 것.

제안 방법

• 경사 하강법이 데이터가 부족할 경우 약한 예측력이 있는 비대칭적 특성의 중요도를 과대평가함으로써 발생하는 새로운 형태의 편향 증폭—특성별 편향 증폭—을 제안한다.
• 두 가지 특성 선택 알고리즘을 도입한다: (1) 특성 평등성, 각 클래스 간 특성 기여도를 균형 있게 만드는 방법이며, (2) 영향 기반 전문가 기반 선택, 인간의 피드백을 활용해 편향된 특성을 식별하고 제거하는 방법.
• VGG16과 같은 모델의 최종 완전 연결 층에 특성 선택 기법을 적용하여 딥 네트워크에 적합하게 조정한다. 이는 특성 추출기에서 유도된 특성에 대한 선형 분류기로 간주한다.
• 전문가 기반 선택의 경우 초모수(α, β)를 그리드 서치로 최적화하고, 기준 비교를 위해 ℓ1 정규화를 사용한다. 편향 감소를 위해 정확도 손실 없이 최적화한다.
• 합성 및 실제 데이터셋(예: CelebA, arcene, 전립선)을 사용해 SGD로 훈련된 로지스틱 회귀 및 딥 러닝 모델(예: VGG16)을 활용해 방법을 평가한다.
• 예측 편향을 클래스 사전 확률 대비 예측 편향도로 측정하고, 전략적 분할에서 표준 지표를 사용해 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 클래스 불균형이 없는 상황에서도 편향 증폭이 발생할 수 있으며, 만약 그렇다면 그 원인 메커니즘은 무엇인가?
• RQ2 경사 하강법의 인도적 편향이 데이터가 적은 환경에서 약한, 중간 정도로 예측력 있는 특성의 중요도를 얼마나 과대평가하는가?
• RQ3 특성 선택이 정확도를 떨어뜨리지 않고 특성별 편향 증폭을 완화하는 데 효과적인가?
• RQ4 기존의 ℓ1 정규화와 비교해 제안된 특성 선택 기법이 딥 네트워크에서 얼마나 효과적인가?

주요 결과

• 클래스 사전 확률이 편향되지 않은 상황에서도 특성별 편향 증폭이 발생하며, 이는 데이터 부족 상황에서 경사 하강법이 약한 특성의 중요도를 과대평가함으로써 발생한다.
• 전립선 데이터셋에서 영향 기반 전문가 방법은 90%의 정확도를 달성하면서도 편향을 80% 감소시켰으며, 원본 모델보다 뚜렷한 개선을 이뤘다.
• CelebA 데이터셋에서 VGG16 모델의 7.7% 편향은 오직 0.3%의 정확도 향상으로 0.2%로 감소(98% 감소)되어 예측 편향을 효과적으로 제거했다.
• 모든 데이터셋에서, 특히 딥 네트워크에서 영향 기반 전문가 방법이 ℓ1 정규화보다 편향 감소와 정확도 유지 측면에서 뛰어난 성능을 보였다.
• 특성 평등성은 대부분의 경우 편향과 정확도를 개선했지만, 딥 네트워크에서는 특성 비대칭성이 낮아 효과가 제한적이었다.
• 선형 모델과 딥 모델 모두에서 제안된 방법이 ℓ1 정규화보다 일반화 오차를 더 효과적으로 줄였으며, 이는 더 넓은 내구성의 가능성을 시사한다.