[논문 리뷰] Co-sampling: Training Robust Networks for Extremely Noisy Supervision

Bo Han, Quanming Yao외 6명|arXiv (Cornell University)|2018. 04. 18.

Machine Learning and Data Classification참고 문헌 20인용 수 7

한 줄 요약

이 논문은 노이즈 전이 행렬 추정이 필요 없이 극도로 노이즈가 많은 레이블에서 딥 네트워크를 강건하게 훈련하는 데 위한 Co-sampling을 제안한다. 두 개의 네트워크를 동시에 훈련시키며, 각 네트워크는 상대방의 네트워크에서 낮은 손실을 가진 샘플을 선택하고 이를 상호 훈련시음으로써 시뮬레이션된 노이즈가 많은 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Training robust deep networks is challenging under noisy labels. Current methodologies focus on estimating the noise transition matrix. However, this matrix is not easy to be estimated exactly. In this paper, free of the matrix estimation, we present a simple but robust learning paradigm called Co-sampling, which can train deep networks robustly under extremely noisy labels. Briefly, our paradigm trains two networks simultaneously. In each mini-batch data, each network samples its small-loss instances, and cross-trains on such instances from its peer network. We conduct experiments on several simulated noisy datasets. Empirical results demonstrate that, under extremely noisy labels, the Co-sampling approach trains deep learning models robustly.

연구 동기 및 목표

• 레이블 노이즈가 심하고 널리 퍼져 있는 극도로 노이즈가 많은 감독 하에서 딥 네트워크를 훈련시키는 문제에 대응하기 위해.
• 실제로 구현이 어려운 정확한 노이즈 전이 행렬 추정에 의존하는 것을 제거하기 위해.
• 복잡한 노이즈 모델링 없이도 레이블 노이즈에 강건한 성능을 발휘하는 단순하면서도 효과적인 훈련 파라다임을 개발하기 위해.
• 훈련 데이터에 고도로 잘못 레이블링된 인스턴스가 포함되어 있을 경우에도 딥 네트워크의 일반화 능력과 정확도를 향상시키기 위해.

제안 방법

• 동일한 미니배치 데이터를 사용하여 두 개의 딥 신경망을 동시에 훈련한다.
• 각 네트워크에서 순전파 동안 손실 값이 가장 낮은 인스턴스를 식별하고 선택한다.
• 한 네트워크에서 선택한 낮은 손실 인스턴스를 다른 네트워크의 훈련 타겟으로 사용한다.
• 각 네트워크가 상대 네트워크의 선택한 인스턴스에서의 예측과 손실을 사용하여 업데이트되는 방식으로 상호 훈련을 수행한다.
• 각 네트워크 내에서 손실 순서의 상대적 비교에 의존하여 노이즈 전이 행렬 추정을 회피한다.
• 상대 모델의 청소된 것처럼 보이는 샘플을 기반으로 상호 지식 정착을 통해 두 네트워크를 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 노이즈 전이 행렬 추정 없이도 극도로 높은 레이블 노이즈에서 강건한 성능을 달성할 수 있는 훈련 파라다임이 존재하는가?
• RQ2 상대 네트워크의 낮은 손실 샘플을 상호 훈련함으로써 노이즈가 많은 환경에서 일반화 능력이 어떻게 향상되는가?
• RQ3 노이즈 전이 행렬 추정에 의존하는 기존 방법보다 Co-sampling 접근법이 극도로 높은 레이블 노이즈에서 더 우수한 성능을 보이는가?
• RQ4 상호 샘플링 메커니즘이 훈련을 안정화시키고 노이즈 레이블에 대한 민감도를 줄일 수 있는가?

주요 결과

• Co-sampling은 극도로 높은 레이블 노이즈 비율을 가진 시뮬레이션된 노이즈가 많은 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 노이즈 전이 행렬 추정에 의존하는 기준 방법에 비해 테스트 정확도가 크게 향상된다.
• 노이즈 전이 행렬이 알려져 있거나 정확하게 추정되지 않더라도 이 방법은 강건하다.
• 실험 결과는 다양한 시뮬레이션된 노이즈가 많은 데이터 분포와 네트워크 아키텍처에서 일관된 성능 향상이 나타남을 보여준다.