[논문 리뷰] REPAIR: Removing Representation Bias by Dataset Resampling

Yi Li, Nuno Vasconcelos|arXiv (Cornell University)|2019. 04. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 15

한 줄 요약

이 논문은 표현 편향을 줄이기 위해 최소화 문제를 최대화 최소화 최적화 문제로 공식화하는 미분 가능 데이터셋 재표본화 방법인 REPAIR를 제안한다. 확률적 경사 하강법을 통해 분류기 가중치와 예제 표본화 가중치를 반복적으로 갱신함으로써 REPAIR는 영상 데이터셋의 정적 편향을 감소시키며, 이는 모델의 일반화 능력을 향상시킨다—Kinetics에서 mAP가 2% 향상되고 I3D 모델의 시간 구조 점수도 증가함으로써 입증되었다.

ABSTRACT

Modern machine learning datasets can have biases for certain representations that are leveraged by algorithms to achieve high performance without learning to solve the underlying task. This problem is referred to as "representation bias". The question of how to reduce the representation biases of a dataset is investigated and a new dataset REPresentAtion bIas Removal (REPAIR) procedure is proposed. This formulates bias minimization as an optimization problem, seeking a weight distribution that penalizes examples easy for a classifier built on a given feature representation. Bias reduction is then equated to maximizing the ratio between the classification loss on the reweighted dataset and the uncertainty of the ground-truth class labels. This is a minimax problem that REPAIR solves by alternatingly updating classifier parameters and dataset resampling weights, using stochastic gradient descent. An experimental set-up is also introduced to measure the bias of any dataset for a given representation, and the impact of this bias on the performance of recognition models. Experiments with synthetic and action recognition data show that dataset REPAIR can significantly reduce representation bias, and lead to improved generalization of models trained on REPAIRed datasets. The tools used for characterizing representation bias, and the proposed dataset REPAIR algorithm, are available at https://github.com/JerryYLi/Dataset-REPAIR/.

연구 동기 및 목표

• 모델이 정적 프레임이나 배경과 같은 허수적 신호에 과적합하는 대신 임무 관련 동적 특징을 학습하도록 하는 표현 편향 문제를 해결하기 위해.
• 주어진 특징 표현에 대해 데이터셋의 표현 편향을 측정하고 정량화하는 방법을 개발하기 위해.
• 표현 편향을 최소화하면서도 임무 관련 정보를 유지하는 미분 가능하고 최적화 기반의 재표본화 전략을 제안하기 위해.
• 편향 감소가 다양한 데이터셋과 아키텍처에서 모델의 일반화 능력과 공정성에 미치는 영향을 평가하기 위해.
• 데이터셋 편향이 모델 성능과 일반화 능력에 미치는 영향을 평가하기 위한 재현 가능한 실험 프레임워크를 제공하기 위해.

제안 방법

• 표현 편향 최소화를 최대화 최소화 문제로 공식화: 재가중된 데이터셋에서의 분류 손실과 진짜 레이블의 불확실성의 비율을 최대화한다.
• 관심 있는 표현을 위한 특징 추출기로 딥 네URAL 네트워크를 사용하고, 이후 선형 분류기를 통해 예제 수준의 손실을 계산한다.
• 최대화 최소화 문제를 해결하기 위해 확률적 경사 하강법(SGD)을 사용하여 분류기 파라미터와 데이터셋 재표본화 가중치를 번갈아가며 갱신한다.
• 현재 모델이 쉽게 분류하는 예제에 대해 가중치를 감소시키는 미분 가능 재가중 기법을 적용하여 편향된 표현에 대한 의존도를 줄인다.
• 모델이 영상의 동적 특징에 얼마나 의존하는지 측정하기 위해 시간 역전 클립의 특징 벡터 간 유클리드 거리의 평균을 계산하는 시간 구조 점수를 도입한다.
• 실제 데이터셋인 Kinetics, HMDB51, UCF101에 REPAIR 절차를 적용하고, 무작위 서브샘플링 및 기준 학습 방법과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 미분 가능이고 종단 간 프레임워크를 사용할 때 영상 데이터셋의 표현 편향을 얼마나 정량화하고 측정할 수 있는가?
• RQ2 무작위 서브샘플링과 비교했을 때, REPAIR 기반 재표본화는 편향된 데이터셋에서 학습된 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 영상 데이터셋의 정적 편향을 줄이면 모델이 더 이상 프레임 수준의 신호에 의존하고, 오히려 시간적 동적 특징에 더 의존하게 되는가?
• RQ4 표현 편향은 다양한 데이터셋 간 모델 평가의 공정성과 비교 가능성에 어떤 영향을 미치는가?
• RQ5 REPAIR는 편향 불일치가 알려진 문제인 후행 데이터셋에서 모델 성능을 향상시킬 수 있는가?

주요 결과

• REPAIR는 합성 Colored MNIST와 실제 행동 인식 데이터셋 모두에서 표현 편향을 감소시켰으며, 무작위 서브샘플링보다 통계적으로 유의미한 개선을 보였다.
• Kinetics에서 REPAIR된 데이터셋으로 학습된 I3D 모델의 평균 정밀도(mAP)는 원본 데이터셋으로 학습한 모델 대비 약 2% 향상되었다.
• Kinetics와 HMDB51 간 공통으로 존재하는 12개 클래스에 대해, 정적 편향과 일반화 성능 사이에 강한 음의 상관관계가 관찰되었으며, 이는 편향 감소가 일반화 능력을 향상시킨다는 것을 시사한다.
• REPAIR된 데이터셋으로 학습된 I3D 모델은 더 높은 시간 구조 점수를 기록했으며, 이는 영상의 동적 특징에 더 많이 의존한다는 것을 나타낸다—특히 더 많은 편향된 예제가 제거될수록 더욱 뚜렷하다.
• 시간 구조 점수의 증가는 무작위 서브샘플링에서는 관찰되지 않았고, REPAIR에서만 나타났다—이는 편향 제거가 단순한 데이터 감소가 아니라 더 나은 시간 모델링을 이끄는 핵심 요소임을 입증한다.
• 실험 설정을 통해 표현 편향이 모델의 일반화 능력과 공정성에 상당한 영향을 미치며, REPAIR가 다양한 벤치마크에서 이러한 문제를 효과적으로 완화시킨다는 것이 입증되었다.