[논문 리뷰] Generalized Data Weighting via Class-level Gradient Manipulation

Can Chen, Shuhao Zheng외 5명|arXiv (Cornell University)|2021. 10. 29.

Machine Learning and Data Classification참고 문헌 51인용 수 5

한 줄 요약

이 논문은 딥러닝에서 레이블 노이즈와 클래스 불균형을 동시에 해결하기 위해 클래스 수준에서 기울기를 재가중하는 새로운 방법인 일반화된 데이터 가중법(GDW)을 제안한다. 연쇄 법칙을 통해 기울기를 전개하고, 평균이 0인 제약 조건을 적용한 클래스별 가중치를 적용함으로써 모델의 강건성과 성능을 향상시킨다. 표준 훈련 외에 추가적인 계산 비용 없이도, 균일한 노이즈 비율이 60%인 CIFAR10에서 SOTA보다 2.56% 높은 정확도를 달성한다.

ABSTRACT

Label noise and class imbalance are two major issues coexisting in real-world datasets. To alleviate the two issues, state-of-the-art methods reweight each instance by leveraging a small amount of clean and unbiased data. Yet, these methods overlook class-level information within each instance, which can be further utilized to improve performance. To this end, in this paper, we propose Generalized Data Weighting (GDW) to simultaneously mitigate label noise and class imbalance by manipulating gradients at the class level. To be specific, GDW unrolls the loss gradient to class-level gradients by the chain rule and reweights the flow of each gradient separately. In this way, GDW achieves remarkable performance improvement on both issues. Aside from the performance gain, GDW efficiently obtains class-level weights without introducing any extra computational cost compared with instance weighting methods. Specifically, GDW performs a gradient descent step on class-level weights, which only relies on intermediate gradients. Extensive experiments in various settings verify the effectiveness of GDW. For example, GDW outperforms state-of-the-art methods by $2.56\%$ under the $60\%$ uniform noise setting in CIFAR10. Our code is available at https://github.com/GGchen1997/GDW-NIPS2021.

연구 동기 및 목표

• 기울기에서 클래스 수준의 정보를 활용하지 못하는 인스턴스 수준의 가중치 방법의 한계를 해결하기 위해.
• 실제 데이터셋에서 레이블 노이즈와 클래스 불균형이 동시에 발생할 경우 모델의 강건성을 향상시키기 위해.
• 추가적인 계산 오버헤드 없이도 클래스 수준의 데이터 가중치를 학습할 수 있는 효율적이고 확장 가능한 방법을 개발하기 위해.
• 유해한 기울기 흐름을 선택적으로 낮추면서도 유용한 정보(예: '해당 클래스가 아님' 신호)는 유지함으로써 정보 활용도를 향상시키기 위해.
• 기존의 인스턴스 수준의 가중치 방법을 일반화하여 기울기 조작 프레임워크에 클래스 수준의 해상도를 통합하기 위해.

제안 방법

• GDW는 연쇄 법칙을 사용하여 손실 기울기를 클래스 수준의 기울기로 전개하여 각 클래스의 기울기 흐름 조작을 가능하게 한다.
• 각 인스턴스에 대해 클래스 수준의 가중치를 도입하며, 안정성을 확보하기 위해 평균이 0인 제약 조건을 갖는 이중 최적화 프레임워크를 통해 최적화한다.
• 중간 기울기를 활용하여 클래스 수준의 가중치를 효율적으로 업데이트하기 위한 이중 단계 가중치 생성 방식을 채택한다.
• 외부 루프에서 모델 파라미터를 최적화하고 내부 루프에서 클래스 수준의 가중치를 최적화하는 메타학습 설정에서 클래스 수준의 가중치를 종단 간(end-to-end)으로 학습한다.
• 계산적으로 효율적이며, 표준 훈련을 초월해 추가적인 순방향 전파가 필요 없고, 클래스 수준의 가중치는 직접 중간 기울기에서 유도된다.
• 인스턴스 수준의 가중치 방법을 일반화하며, 이는 각 인스턴스의 모든 클래스 수준 가중치가 동일한 특수한 경우로 볼 수 있다.

실험 결과

연구 질문

• RQ1 클래스 수준의 기울기 조작이 레이블 노이즈와 클래스 불균형이 동시에 존재하는 데이터셋에서 모델 성능 향상에 기여하는가?
• RQ2 기울기 가중치를 클래스 수준에서 분리하면 인스턴스 수준의 가중치보다 더 나은 정보 활용이 가능한가?
• RQ3 의미 있는 계산 오버헤드 없이 클래스 수준의 가중치를 효율적으로 학습할 수 있는가?
• RQ4 다양한 노이즈 및 불균형 설정에서 GDW는 최신의 인스턴스 수준 가중치 방법보다 정확도와 강건성 면에서 뛰어나게 성능을 내는가?
• RQ5 클래스 수준의 가중치가 장수 분포에서 소수 클래스 성능에 어떤 영향을 미치는가?

주요 결과

• 60% 균일한 노이즈 설정에서 CIFAR10에서 GDW는 SOTA 방법보다 2.56% 높은 정확도를 달성하여 강력한 레이블 노이즈에 대한 강건성을 입증한다.
• Clothing1M 데이터셋에서 GDW는 테스트 정확도 69.39%를 기록하여 다음으로 우수한 방법인 MWNet보다 0.93% 높은 성능을 보였다.
• μ=0.1인 장수 분포 CIFAR10에서 GDW는 소수 클래스 C9 인스턴스에 대해 'C8가 아님' 기울기 흐름의 가중치를 감소시킴으로써 '클래스'와 '해당 클래스가 아님' 정보를 효과적으로 균형 잡아 소수 클래스의 성능 향상을 이끌어냈다.
• 클래스 수준의 가중치에 평균이 0인 제약 조건을 도입함으로써 안정적인 훈련을 유지하고 발산을 방지하며 수렴성을 향상시켰다.
• GDW의 이중 단계 가중치 생성 방식은 추가적인 FLOPs 없이도 중간 기울기만을 사용하여 클래스 수준의 가중치를 효율적으로 계산한다.
• 정보 활용 측면에서 이론적 우수성이 있음에도 불구하고, GDW는 모든 클래스 불균형 상황에서 베이스라인을 뛰어넘지 못하는 경우가 있어, 성능 향상은 기울기 재가중 외에도 여러 상호의존적 요인에 의해 좌우됨을 시사한다.