[논문 리뷰] Overwriting Pretrained Bias with Finetuning Data

Angelina Wang, Olga Russakovsky|arXiv (Cornell University)|2023. 03. 10.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 사전학습된 모델에서 유도된 편향이 미세조정된 모델로 전이되는 방식을 조사하며, 편향을 최소한의 성능 손실로 효과적으로 대체하기 위해 미세조정 데이터셋을 표적으로 조정함으로써 가능함을 보여줍니다. 핵심 기여는 대규모 사전학습 모델을 수정하는 것보다 훨씬 실용적이고 영향력 있는 방법으로, 편향 완화를 위한 미세조정 데이터 조작을 제안한다는 점입니다.

ABSTRACT

Transfer learning is beneficial by allowing the expressive features of models pretrained on large-scale datasets to be finetuned for the target task of smaller, more domain-specific datasets. However, there is a concern that these pretrained models may come with their own biases which would propagate into the finetuned model. In this work, we investigate bias when conceptualized as both spurious correlations between the target task and a sensitive attribute as well as underrepresentation of a particular group in the dataset. Under both notions of bias, we find that (1) models finetuned on top of pretrained models can indeed inherit their biases, but (2) this bias can be corrected for through relatively minor interventions to the finetuning dataset, and often with a negligible impact to performance. Our findings imply that careful curation of the finetuning dataset is important for reducing biases on a downstream task, and doing so can even compensate for bias in the pretrained model.

연구 동기 및 목표

• 사전학습된 모델에서 유도된 편향이 컴퓨터 비전 작업에서 미세조정된 모델로 전이되는지 여부를 조사하는 것.
• 미세조정된 모델의 편향이 미세조정 데이터셋을 의도적으로 정제함으로써 수정될 수 있는지 평가하는 것.
• 특히 사전학습된 모델이 본래부터 편향을 지닌 경우에도, 이러한 정제가 높은 성능 유지와 함께 편향을 줄이는 데 얼마나 효과적인지 결정하는 것.
• 대규모 사전학습 데이터셋을 수정하는 것보다 사전학습된 모델의 미세조정 데이터셋을 더 실용적이고 효과적인 간섭점으로 위치시키는 것.
• 최종 작업에서 성능과 공정성의 균형을 맞추기 위한 실무자들을 위한 실행 가능한 통찰을 제공하는 것.

제안 방법

• 편향의 두 가지 운영적 정의를 사용함: 민감한 속성과 목표 작업 사이의 무의미한 상관관계, 데이터셋 내 특정 집단의 부족한 표현.
• 무의미한 상관관계의 경우, 미세조정 데이터에서 상관관계 강도를 조작함(예: 20%에서 30%로 변경)하여 편향과 성능에 미치는 영향을 평가함.
• 부족한 표현의 경우, 미세조정 데이터셋에서 부족한 집단의 양성 레이블 비율을 조정하여 편향을 보정함.
• MoCo, SimCLR 및 자체 구축 모델을 포함한 다양한 사전학습된 모델을 사용하여 CelebA, COCO 및 Dollar Street 데이터셋에서 실험 수행.
• 모든 모델은 완전히 미세조정됨(고정되지 않음)이며, 편향은 공정성 메트릭을 통해 하류 작업에서 평가됨.
• 이 접근법은 아키텍처나 손실 함수 수정이 아닌 데이터셋 수준의 간섭에 초점을 맞추며, 실용성과 확장성 강조.

Figure 1: We explore bias transference from pretrained to finetuned models in two forms in this work: spurious correlations and underrepresentation. We find that intervening on the finetuning data allows us to overcome bias from pretraining, often without compromising on performance.

실험 결과

연구 질문

• RQ1 무의미한 상관관계 조건에서 사전학습된 모델의 편향이 미세조정된 모델로 얼마나 전이되는가?
• RQ2 미세조정 데이터셋의 상관관계 강도를 조정함으로써 성능 저하 없이 편향을 줄일 수 있는가?
• RQ3 미세조정 데이터의 클래스 분포를 수정함으로써 부족한 표현 편향을 얼마나 효과적으로 수정할 수 있는가?
• RQ4 실용성과 성능 유지 측면에서, 미세조정 데이터 정제가 다른 편향 완화 전략보다 뛰어나게 작용하는가?
• RQ5 테스트 세트에 존재하는 편향을 상쇄하기 위해 의도적으로 과도하게 보정된 미세조정 데이터를 사용할 수 있는가?

주요 결과

• 편향된 사전학습된 모델 위에서 미세조정된 모델는 특히 무의미한 상관관계가 강하거나 뚜렷하거나, 미세조정 데이터가 제한적인 경우 그 편향을 그대로 물려받는다.
• 미세조정 데이터에서 무의미한 상관관계 강도를 20%에서 30%로 증가시킴으로써 편향은 거의 반으로 줄었고, 높은 성능를 유지함.
• 부족한 표현 집단의 비율을 미세조정 데이터셋에서 조정함으로써 부족한 표현 편향을 효과적으로 보정할 수 있었으며, 성능에 거의 영향을 주지 않았다.
• 미세조정 데이터셋은 편향 완화를 위한 매우 효과적인 간섭점으로 기능하며, 종종 사전학습 데이터를 수정하는 것보다 뛰어난 성능을 보였다.
• 편향된 사전학습된 모델이더라도, 신중한 미세조정 데이터셋 정제를 통해 높은 성능와 공정성을 동시에 달성할 수 있었다.
• 이러한 결과는 사전학습 데이터를 수정할 수 없는 경우 특히, 공정성에 중요한 응용 분야에서 데이터셋 정제를 우선시해야 한다는 시사점을 제공한다.

Figure 2: Across 11 CelebA attributes, the FPR difference between Women and Men of each model finetuned on a different base. The attributes are sorted by the ratio of the FPR difference between the Gendered model and highest Control model. The dotted line indicates the cutoff between the seven attri