[논문 리뷰] Faster Meta Update Strategy for Noise-Robust Deep Learning

Youjiang Xu, Linchao Zhu외 2명|arXiv (Cornell University)|2021. 04. 30.

Machine Learning and Data Classification참고 문헌 62인용 수 7

한 줄 요약

이 논문은 메타학습의 속도를 높이기 위해 가용 가능한 계층별 샘플링 메커니즘을 통해 메타기울기를 근사화하는 새로운 방법인 빠른 메타 업데이트 전략(FaMUS)을 제안한다. 이는 노이즈가 많고 긴 꼬리 분포를 띠는 데이터에서 일반화 성능을 유지하거나 향상시키면서도 학습 시간을 최대 2/3까지 줄인다. FaMUS는 합성 및 실세계 노이즈 레이블 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기울기 분산은 낮추고 수렴 속도는 빠르게 한다.

ABSTRACT

It has been shown that deep neural networks are prone to overfitting on biased training data. Towards addressing this issue, meta-learning employs a meta model for correcting the training bias. Despite the promising performances, super slow training is currently the bottleneck in the meta learning approaches. In this paper, we introduce a novel Faster Meta Update Strategy (FaMUS) to replace the most expensive step in the meta gradient computation with a faster layer-wise approximation. We empirically find that FaMUS yields not only a reasonably accurate but also a low-variance approximation of the meta gradient. We conduct extensive experiments to verify the proposed method on two tasks. We show our method is able to save two-thirds of the training time while still maintaining the comparable or achieving even better generalization performance. In particular, our method achieves the state-of-the-art performance on both synthetic and realistic noisy labels, and obtains promising performance on long-tailed recognition on standard benchmarks.

연구 동기 및 목표

• 메타학습의 높은 계산 비용으로 인해 현재 3–7배의 더 긴 학습 시간으로 인해 실용적 구현이 제한되고 있는 문제를 해결하기 위해.
• 노이즈가 많거나 편향된 학습 데이터가 존재하는 환경에서도 일반화 성능을 훼손하지 않고 학습 효율을 향상시키기 위해.
• 메타학습 단계에서 계산을 줄이기 위해 저분산, 고정확도의 메타기울기 근사치를 개발하기 위해.
• 추가적인 계산 오버헤드를 최소화하면서 WebVision과 CNWL과 같은 노이즈 레이블 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• FaMUS는 전체 메타기울기 계산을 대체하여 메타기울기 누적에만 유의미한 계층을 선택하는 학습 가능한 기울기 샘플러를 도입한다.
• 이 방법은 메타기울기 계산에 포함시킬 계층을 학습할 수 있는 미분 가능하고 계층 기반의 샘플링 전략을 도입하여, 정보가 적은 계층의 계산을 효과적으로 생략한다.
• 메타기울기 근사치는 샘플된 계층에 대해서만 계산되며, 이는 메타학습 단계에서의 역전파 비용을 크게 줄인다.
• 학습 가능한 샘플러는 엔드 투 엔드로 훈련되어 모델이 자동으로 기울기 업데이트에 가장 유의미한 계층을 식별하고 집중할 수 있도록 한다.
• 이 방법은 관련성이 낮은 계층에서 오는 노이즈 또는 중복 신호를 걸러내어 기울기 분산을 줄여 더 안정적인 최적화를 이끈다.
• FaMUS는 MW-Net과 L2R와 같은 기존 메타학습 프레임워크에 적용되며, 아키텍처에 최소한의 변경만을 요구하고 추가로 깨끗한 데이터가 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 학습 가능한 계층 기반 샘플링 전략이 전체 메타기울기를 크게 줄인 계산으로 효과적으로 근사할 수 있는가?
• RQ2 제안된 FaMUS 방법이 전체 기울기 계산에 비해 메타기울기 분산을 줄이는가?
• RQ3 FaMUS가 학습 시간을 2/3 줄이며 수렴 속도를 빠르게 하고 일반화 성능을 향상시킬 수 있는가?
• RQ4 FaMUS는 합성 및 실세계 노이즈 레이블 벤치마크에서 성능을 유지하거나 향상시키는가?
• RQ5 FaMUS는 성능 저하가 최소화되고 빠른 속도 향상이 이루어지는 긴 꼬리 인식 작업에 효과적으로 적용될 수 있는가?

주요 결과

• WebVision 데이터셋에 MW-Net에 적용했을 때 FaMUS는 최대 66%의 학습 시간 단축을 이끌었으며, 상위 1위 정확도에 손실가 없었다.
• 대칭 레이블 노이즈가 있는 CIFAR-10 및 CIFAR-100에서 FaMUS는 기준 방법들보다 통계적으로 유의미한 향상을 보였으며, 일측 t-검정에서 p < 0.05를 기록했다.
• 도전적인 CNWL 벤치마크에서 FaMUS는 MentorMix 및 DivideMix와 같은 강력한 기준 방법들을 능가했으며, 다양한 노이즈 비율에서도 강건함을 입증했다.
• 추가로 깨끗한 데이터를 사용하지 않고 FaMUS는 Clothing1M에서 상위 1위 정확도 74.4%를 달성했으며, 최신 기술 수준의 성능를 유지했다.
• 긴 꼬리 인식 작업에서는 FaMUS가 MW-Net의 학습을 2.9배로 가속화하면서도 기존 메타학습 방법들, 특히 개선된 L2R를 능가하는 일관된 성능을 보였다.
• 그림 1(c)에서 보듯이 FaMUS의 메타기울기 근사치는 진짜 기울기보다 분산이 낮아 더 안정적이고 효율적인 최적화에 기여했다.