[논문 리뷰] Learning Fast Sample Re-weighting Without Reward Data

Zizhao Zhang, Tomas Pfister|arXiv (Cornell University)|2021. 09. 07.

Machine Learning and Data Classification참고 문헌 60인용 수 8

한 줄 요약

이 논문은 외부 보상 데이터에 대한 의존성을 제거하고 모델 및 가중치 최적화 간의 특징 공유를 통해 훈련 비용을 줄이는 새로운 학습 기반 방법인 Fast Sample Re-weighting(FSR)을 제안한다. FSR는 동적 프록시 보상 사전를 활용하여 레이블 노이즈에 대한 강건성과 장수 꼬리 인식에서 최신 기술 수준(SOTA) 성능을 달성하며, 추가로 균형 잡힌 검증 데이터가 필요로 하지 않으면서도 훈련 효율성이 크게 향상된다.

ABSTRACT

Training sample re-weighting is an effective approach for tackling data biases such as imbalanced and corrupted labels. Recent methods develop learning-based algorithms to learn sample re-weighting strategies jointly with model training based on the frameworks of reinforcement learning and meta learning. However, depending on additional unbiased reward data is limiting their general applicability. Furthermore, existing learning-based sample re-weighting methods require nested optimizations of models and weighting parameters, which requires expensive second-order computation. This paper addresses these two problems and presents a novel learning-based fast sample re-weighting (FSR) method that does not require additional reward data. The method is based on two key ideas: learning from history to build proxy reward data and feature sharing to reduce the optimization cost. Our experiments show the proposed method achieves competitive results compared to state of the arts on label noise robustness and long-tailed recognition, and does so while achieving significantly improved training efficiency. The source code is publicly available at https://github.com/google-research/google-research/tree/master/ieg.

연구 동기 및 목표

• 기존의 학습 기반 샘플 재가중 방법이 추가로 균형 잡힌 보상 데이터에 의존하는 데서 비롯되는 일반화 가능성의 제한을 해결하기 위해.
• 메타학습 기반 재가중 프레임워크에서의 이차 최적화로 인한 높은 계산 비용을 줄이기 위해.
• 대규모 딥러닝에 적합한 빠르고 효율적이며 일반화 가능한 샘플 재가중 방법을 개발하기 위해.
• 훈련 이력에서 유도된 잘 구성된 프록시 보상 신호가 외부 보상 데이터를 대체할 수 있는지 입증하기 위해.
• 모멘텀 기반 재라벨링 및 MixUp과 같은 정규화 기법을 통해 레이블 노이즈에 대한 강건성을 향상시키기 위해.

제안 방법

• 모델 업데이트 이력에서 대표적인 훈련 샘플의 동적 사전를 구성하여 외부 검증 세트가 필요 없도록 프록시 보상 데이터로 활용한다.
• 메타마진 기반 평가 함수를 사용하여 사전에서 고품질 샘플을 식별하고 가중치 최적화를 위한 프록시 보상으로 활용한다.
• 모델과 가중치 최적화 간의 특징 공유를 도입하여 공유 표현을 재사용함으로써 메모리 및 계산 비용을 절감한다.
• 노이즈가 있는 환경에서 레이블 품질을 향상시키기 위해 모멘텀 기반 재라벨링 메커니즘을 도입하여 프록시 보상의 신뢰성을 높인다.
• MixUp 정규화를 적용하여 사전과 푸시 함수의 품질을 향상시켜 더 나은 일반화 및 가중치 희박성 달성한다.
• 전체 프레임워크는 이중 최적화나 이차 최적화를 피하기 위해 확률적 경사 하강법으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 훈련 이력에서 유도된 프록시 보상 신호가 메타학습 기반 샘플 재가중에서 외부 보상 데이터를 대체할 수 있는가?
• RQ2 기존의 보상 의존적 재가중 방법과 비교해 본다면 제안된 방법은 성능 및 효율성 면에서 어떻게 다른가?
• RQ3 특징 공유가 공동 모델 및 가중치 최적화에서 훈련 비용을 얼마나 줄이는가?
• RQ4 모멘텀 기반 재라벨링과 MixUp의 조합이 레이블 노이즈에 대한 강건성을 얼마나 효과적으로 향상시키는가?
• RQ5 실제 데이터 분포에서 사전 크기와 노이즈 수준의 변화에 대해 이 방법은 얼마나 강건한가?

주요 결과

• FSR는 외부 보상 데이터 없이도 CIFAR-10과 CIFAR-100에서 최대 80%의 균일한 레이블 노이즈 상황에서도 경쟁 가능한 성능을 유지하며 높은 정확도를 달성한다.
• 이 방법은 사전 크기에 민감하지 않으며, 다양한 크기에서 안정적인 성능을 보이며, 보상 의존적 방법과 달리 데이터 부족 문제를 악영향을 받지 않는다.
• MixUp과 모멘텀 기반 재라벨링를 적용한 FSR는 20% 균일한 노이즈 상황에서 CIFAR-10에서 68.1%의 정확도를 기록했고, 40% 노이즈 상황에서는 60.9%를 달성하여 기준선 방법을 능가한다.
• FSR에서 0 가중치 비율이 실제 노이즈 비율과 매우 유사하게 유지되어 노이즈가 많은 샘플을 효과적으로 억제하고 있음을 시사한다.
• MixUp과 모멘텀 기반 재라벨링를 적용하지 않은 FSR-Raw는 임의의 보상 데이터 크기의 L2R와 유사한 성능을 보이며, 외부 보상 데이터가 불필요하다는 것을 입증한다.
• MixUp은 사전의 순도와 최종 정확도를 크게 향상시켜 데이터 증강을 넘어서는 정규화 역할을 한다는 것을 시사한다.