[논문 리뷰] A Unified Plug-and-Play Framework for Effective Data Denoising and Robust Abstention

Krishanu Sarker, Xiulong Yang외 3명|arXiv (Cornell University)|2020. 09. 25.

Image and Signal Denoising Methods참고 문헌 26인용 수 5

한 줄 요약

이 논문은 딥 네트워크 아키텍처나 손실 함수를 수정하지 않고도, 특징 공간 내 학습된 데이터 밀도를 활용하여 훈련 데이터를 노이즈 제거하고 예측 불확실성이 높은 테스트 샘플에 대해 예측을 회피하는 통합형 플러그 앤 플레이 프레임워크를 제안한다. 클래스별 데이터 분포에서 멀리 떨어진 샘플을 식별함으로써, 여러 개의 CNN과 데이터셋에서 SOTA 기법인 DAC와 SelectiveNet보다도 노이즈 제거 및 강건한 예측 회피 성능을 모두 뛰어나게 한다.

ABSTRACT

The success of Deep Neural Networks (DNNs) highly depends on data quality. Moreover, predictive uncertainty makes high performing DNNs risky for real-world deployment. In this paper, we aim to address these two issues by proposing a unified filtering framework leveraging underlying data density, that can effectively denoise training data as well as avoid predicting uncertain test data points. Our proposed framework leverages underlying data distribution to differentiate between noise and clean data samples without requiring any modification to existing DNN architectures or loss functions. Extensive experiments on multiple image classification datasets and multiple CNN architectures demonstrate that our simple yet effective framework can outperform the state-of-the-art techniques in denoising training data and abstaining uncertain test data.

연구 동기 및 목표

• 실세계 딥 네트워크 디프로젝트에서 노이즈가 있는 훈련 데이터와 예측 불확실성이라는 이중적 과제를 해결하기 위해.
• 기존 모델이나 손실 함수를 수정하지 않고도 모델 신뢰도를 향상시키는 통합형 엔드 투 엔드 프레임워크를 개발하기 위해.
• 내재된 데이터 밀도를 이용해 노이즈가 있는 훈련 샘플과 불확실한 테스트 예측을 효과적으로 걸러내기 위해.
• DAC와 SelectiveNet과 같은 SOTA 모델보다도 노이즈 제거 및 예측 회피 작업에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 프리트레인된 DNN을 사용해 특징을 추출하고, 특징 공간 내에서 클래스별 데이터 밀도를 모델링한다.
• 어느 클래스 분포에서도 멀리 떨어져 있거나, 여러 분포와 동일한 거리에 있을 경우 샘플을 노이즈가 있는 것으로 분류한다.
• 거리 기반으로 데이터 클러스터에 대한 거리 분석과 적응형 임계값 전략을 적용하여 청소년 샘플과 노이즈가 있는 샘플을 구분한다.
• 재학습이나 아키텍처 변경 없이도 기존 SOTA 모델에 쉽게 통합할 수 있는 플러그인 모듈로 작동한다.
• 딥 네트워크가 훈련 초반에 강건한 특징을 학습한다는 관찰을 활용하여, 노이즈가 있는 데이터가 있어도 신뢰할 수 있는 밀도 추정이 가능하다.
• 동일한 밀도 기반 기준을 사용해 훈련 시(노이즈 제거 목적)와 추론 시(불확실성 회피 목적)에 모두 적용된다.

실험 결과

연구 질문

• RQ1 DNN 아키텍처를 수정하지 않고도 통합형 프레임워크가 훈련 데이터 노이즈 제거와 불확실한 테스트 예측 회피에 효과적으로 기여할 수 있는가?
• RQ2 특징 공간 내 데이터 밀도는 레이블 노이즈와 예측 불확실성과 어떻게 관련이 있는가?
• RQ3 DAC와 SelectiveNet과 같은 전용 SOTA 모델보다 단순한 플러그 앤 플레이 방법이 노이즈 제거 및 예측 회피 모두에서 뛰어난 성능을 낼 수 있는가?
• RQ4 프리트레인된 특징 표현은 필터링을 위한 신뢰할 수 있는 데이터 분포 모델링을 어떻게 가능하게 하는가?

주요 결과

• 제안된 프레임워크는 DAC보다 훈련 데이터 노이즈 제거에서 뛰어난 성능을 보이며, 인위적 레이블 노이즈가 있는 CIFAR-10과 ImageNet에서 더 높은 정확도를 달성한다.
• 테스트 데이터 예측 회피에서, 모든 커버리지 수준에서 SelectiveNet을 초월하여 보다 뛰어난 校정성(calibration)과 성능을 보였다.
• t-SNE를 통한 시각화 결과, 프레임워크가 훈련 및 테스트 세트에서 노이즈가 있는 샘플과 모호한 샘플을 효과적으로 식별하고 필터링함을 확인했다.
• 노이즈 제거된 데이터로 학습하면 수렴 속도가 빨라지고, 특히 레이블 노이즈가 많을 경우(아블레이션 연구에서 60%) 최종 테스트 정확도가 향상된다.
• 필터링에 단 한 번의 모델 순방향 전파만 필요로 하여 계산 오버헤드가 최소화되어 경쟁력 있는 성능을 달성한다.