[논문 리뷰] Searching to Exploit Memorization Effect in Learning from Corrupted Labels

Quanming Yao, Hansi Yang외 3명|arXiv (Cornell University)|2019. 11. 06.

Machine Learning and Data Classification참고 문헌 44인용 수 9

한 줄 요약

이 논문은 노이즈 있는 레이블로 훈련할 때 딥 네트워크의 기억화 효과를 활용하기 위해 최적의 샘플 선택 스케줄을 자동으로 학습하는 새로운 AutoML 기반 방법 S2E를 제안한다. 선택 과정을 도메인 특화 검색 공간 위에서 이중 최적화 문제로 모델링하고, 확률적 완화 네이튼 알고리즘을 사용함으로써 S2E는 벤치마크 데이터셋에서 최신 기술 수준의 정확도와 효율성을 달성하며, 청소된 샘플 선택과 일반화 능력 모두에서 기존 방법들을 능가한다.

ABSTRACT

Sample selection approaches are popular in robust learning from noisy labels. However, how to properly control the selection process so that deep networks can benefit from the memorization effect is a hard problem. In this paper, motivated by the success of automated machine learning (AutoML), we model this issue as a function approximation problem. Specifically, we design a domain-specific search space based on general patterns of the memorization effect and propose a novel Newton algorithm to solve the bi-level optimization problem efficiently. We further provide theoretical analysis of the algorithm, which ensures a good approximation to critical points. Experiments are performed on benchmark data sets. Results demonstrate that the proposed method is much better than the state-of-the-art noisy-label-learning approaches, and also much more efficient than existing AutoML algorithms.

연구 동기 및 목표

• 수동 스케줄이 비최적이고 비현실적인 노이즈 있는 레이블이 있는 딥 러닝에서 최적의 훈련 샘플을 선택하는 문제에 대응한다.
• 네트워크가 노이즈 있는 레이블에 과적합되기 전에 청소된 패턴을 먼저 학습하는 기억화 효과를 동적으로 훈련 중 샘플 선택을 조정함으로써 활용한다.
• 기존의 Co-teaching와 같은 샘플 선택 접근 방식에서 수동으로 설계된 스케줄을 대체할 수 있는 자동화되고 데이터 기반의 방법을 개발한다.
• 딥 네트워크 전반의 관측된 학습 곡선 패턴을 바탕으로, 선택 스케줄을 위한 컴act하면서도 표현력 있는 검색 공간을 설계한다.
• 이산적 샘플 선택의 비가역성에 도전하기 위해 확률적 완화와 뉴턴의 방법을 활용한 효율적인 검색 알고리즘을 제안한다.

제안 방법

• 샘플 선택 스케줄 학습을 신경망 아키텍처 탐색과 유사한 이중 최적화 문제로 공식화하며, 외부 루프는 스케줄을 최적화하고 내부 루프는 학생 네트워크를 훈련한다.
• 일반적인 기억화 행동을 반영하는 기저 함수를 사용하여 도메인 특화 검색 공간을 설계한다: 초기 훈련 시 높은 손실, 이후 빠른 수렴으로 낮은 손실으로 전환.
• 이산적 샘플 선택 연산자를 근사하기 위해 확률적 완화 기법을 도입하여 최적화를 위한 기울기 계산을 가능하게 한다.
• 헤시안 근사와 함께 뉴턴의 방법을 적용하여 외부 목표를 효율적으로 최적화하며, 모델 성능과 최적화 역학을 모두 통합한다.
• 에포크 t에서 선택되는 샘플 비율 함수 $ R(t) $ 를 시그모이드 기반 출력층으로 매개변수화하여, 각 에포크에서 선택 비율을 부드럽고 미분 가능하게 제어한다.
• 학습된 스케줄을 Co-teaching 유사 프레임워크에 통합하여, 두 네트워크가 서로의 예측에서 선택된 청소된 샘플을 기반으로 훈련한다.

실험 결과

연구 질문

• RQ1 자동화되고 데이터 기반의 접근 방식이 노이즈 있는 레이블 학습을 위한 수동으로 설계된 스케줄보다 우월한가?
• RQ2 딥 네트워크의 기억화 효과를 적응적이고 동적 샘플 선택을 통해 효과적으로 활용할 수 있는가?
• RQ3 다양한 데이터셋과 아키텍처에 일반화 가능한 표현력 있고 컴act한 선택 스케줄 검색 공간은 무엇인가?
• RQ4 기울기 기반 검색 알고리즘이 이산적이고 비가역적인 샘플 선택 과정에 효과적으로 적용될 수 있는가?
• RQ5 제안된 방법은 노이즈 있는 레이블 학습 분야에서 최신 기술 수준의 접근 방식보다 더 나은 일반화와 효율성을 달성하는가?

주요 결과

• S2E는 CIFAR-10 (대칭성-50% 노이즈 시 50.82%), CIFAR-100 (대칭성-50% 노이즈 시 38.74%), MNIST (페어-45% 노이즈 시 96.90%)에서 최신 기술 수준의 테스트 정확도를 달성하며 기존 방법들을 능가한다.
• 모든 데이터셋과 노이즈 유형에서 일관되게 높은 레이블 정밀도를 보이며, 기준선 대비 유의미하게 더 많은 청소된 샘플을 선택함을 입증한다.
• CIFAR-10에서 S2E는 뉴턴 기반 검색 알고리즘을 사용할 경우 기울기 하강법, 자연 기울기, 베이지안 최적화, 하이퍼밴드보다 더 빠르게 수렴하며, 더 적은 모델 훈련 호출 수를 필요로 한다.
• 제거 실험을 통해 제안된 검색 공간이 일반적인 함수 근사기(RBF, MLP)보다 더 효과적이며, Co-teaching 및 단일 기저 설계보다도 성능이 뛰어나다는 것이 확인되었다.
• MLP 기반 기준선에서 학습된 $ R(t) $ 함수들이 가정 1에서 예상되는 형태를 잘 따르며, 검색 공간 설계의 타당성을 검증한다.
• 확률적 완화와 뉴턴의 방법을 사용함으로써 샘플 선택의 비가역성에도 불구하고 효율적인 최적화가 가능하며, 임계점 수렴에 이론적 보장이 있다.