[논문 리뷰] Meta-Weight-Net: Learning an Explicit Mapping For Sample Weighting

Jun Shu, Qi Xie외 5명|arXiv (Cornell University)|2019. 02. 20.

Machine Learning and Data Classification참고 문헌 71인용 수 398

한 줄 요약

논문은 샘플에 대한 명시적이고 학습 가능한 가중치 함수인 Meta-Weight-Net(MW-Net)을 제안합니다. 메타러닝을 통해 편향된 학습 데이터(예: 클래스 불균형 및 노이즈 라벨)를 수동으로 가중치 체계를 설계하지 않고도 견고하게 처리하도록 학습됩니다.

ABSTRACT

Current deep neural networks (DNNs) can easily overfit to biased training data with corrupted labels or class imbalance. Sample re-weighting strategy is commonly used to alleviate this issue by designing a weighting function mapping from training loss to sample weight, and then iterating between weight recalculating and classifier updating. Current approaches, however, need manually pre-specify the weighting function as well as its additional hyper-parameters. It makes them fairly hard to be generally applied in practice due to the significant variation of proper weighting schemes relying on the investigated problem and training data. To address this issue, we propose a method capable of adaptively learning an explicit weighting function directly from data. The weighting function is an MLP with one hidden layer, constituting a universal approximator to almost any continuous functions, making the method able to fit a wide range of weighting functions including those assumed in conventional research. Guided by a small amount of unbiased meta-data, the parameters of the weighting function can be finely updated simultaneously with the learning process of the classifiers. Synthetic and real experiments substantiate the capability of our method for achieving proper weighting functions in class imbalance and noisy label cases, fully complying with the common settings in traditional methods, and more complicated scenarios beyond conventional cases. This naturally leads to its better accuracy than other state-of-the-art methods.

연구 동기 및 목표

• 노이즈 라벨이나 클래스 불균형 등 편향된 학습 데이터 하에서 강건한 학습을 촉진한다.
• 데이터로부터 직접 가중치 함수를 학습하여 손실-가중치 매핑의 수동 지정을 제거한다.
• MLP 기반의 가중치 네트가 전통적인 가중치 체계를 근사하고 복잡한 편향에 적응할 수 있음을 보여준다.
• 작은 편향되지 않은 메타데이터세트를 사용하여 분류기 및 가중치 함수 매개변수를 함께 업데이트하는 메타러닝 프레임워크를 제공한다.

제안 방법

• 샘플 가중치를 V(L_i_train(w); Θ)로 모델링한다. 이는 은닉층 하나를 가진 MLP로 [0,1] 범위의 가중치를 생성한다.
• MW-Net에서 얻은 가중치를 사용하여 가중 손실에 대해 SGD로 분류기 파라미터 w를 최적화한다.
• 작은 편향되지 않은 메타데이터세트에서 계산된 메타-손실을 통해 MW-Net 파라미터 Θ를 업데이트한다: Θ* = argmin_Θ L_meta(w*(Θ)).
• 단일 루프(알고리즘 1) 내에서 온라인으로 번갈아 가며 w와 Θ를 업데이트하는 이중 수준/메타러닝 절차를 사용한다.
• 완만한 조건하에서 알고리즘이 메타손실과 학습손실의 임계점으로 수렴함을 보이는 수렴 분석을 제공한다.

실험 결과

연구 질문

• RQ1 MW-Net을 통해 명시적으로 학습된 가중치 함수가 편향 설정(불균형, 노이즈 라벨, 실제 데이터) 전반에서 손수 설계된 가중치 체계와 동일하거나 이를 능가할 수 있는가?
• RQ2 소규모의 편향되지 않은 메타데이터세트로 MW-Net을 메타러닝하는 것이 일반화 성능 향상에 효과적으로 가중치를 안내하는가?
• RQ3 MW-Net 접근법은 서로 다른 분류기 아키텍처와 데이터 편향에 대해 강인한가?
• RQ4 제안된 이중 루프 최적화의 실질적 수렴 특성은 무엇인가?
• RQ5 다양한 편향 시나리오에서 학습된 가중치 함수의 해석가능성은 어느 정도인가?

주요 결과

• MW-Net은 전통적 사전지식과 일치하는 가중치 함수를 학습한다(예: 어려운/불균형한 경우에 더 큰 가중치; 노이즈 라벨 샘플에는 더 작은 가중치).
• 롱테일 CIFAR 설정에서 MW-Net은 베이스 모델과 초점손실(focal loss), 클래스-밸런스, L2RW를 포함한 여러 재가중 baseline보다 테스트 정확도를 향상시킨다.
• 균일 및 뒤집은 레이블 노이즈하에서 MW-Net은 CIFAR-10/100 전반에서 많은 경쟁자들보다 더 높은 정확도를 달성하며, 노이즈율이 높을수록 유의한 이득을 보인다.
• Clothing1M에서 MW-Net은 비교 방법들 중 최고 정확도를 달성하여 실제 세계의 노이즈 라벨에 대한 효과성을 시사한다.
• 학습된 가중치 분포는 깨끗한 샘플이 노이즈 샘플보다 더 큰 가중치를 받고, 가중치 함수가 점진적으로 발전하며 학습 중에 안정화됨을 보인다.