[논문 리뷰] A Data-Centric Approach for Training Deep Neural Networks with Less Data

Mohammad Motamedi, Nikolay Sakharnykh외 1명|arXiv (Cornell University)|2021. 10. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 4인용 수 8

한 줄 요약

이 논문은 복제 및 잘못 레이블이 지정된 샘플을 자동으로 탐지하고, 이를 바탕으로 GAN 기반으로 어려운 분류 샘플을 합성함으로써 데이터 품질을 향상시키는 데이터 중심적 접근법을 제안한다. 이 방법은 훈련 데이터 크기를 34% 줄이며 Roman-MNIST 데이터셋에서 정확도를 5% 향상시킨다. 추가로 합성 데이터 생성을 통해 성능 햖도 향상된다.

ABSTRACT

While the availability of large datasets is perceived to be a key requirement for training deep neural networks, it is possible to train such models with relatively little data. However, compensating for the absence of large datasets demands a series of actions to enhance the quality of the existing samples and to generate new ones. This paper summarizes our winning submission to the "Data-Centric AI" competition. We discuss some of the challenges that arise while training with a small dataset, offer a principled approach for systematic data quality enhancement, and propose a GAN-based solution for synthesizing new data points. Our evaluations indicate that the dataset generated by the proposed pipeline offers 5% accuracy improvement while being significantly smaller than the baseline.

연구 동기 및 목표

• 대규모 데이터셋이 확보되지 않은 상황에서, 특히 산업적 결함 검출과 같은 데이터 제약이 있는 분야에서 깊이 신경망을 효과적으로 훈련시키는 데 도전하는 데 목적이 있다.
• 사람이 참여하는 피드백을 통해 검증된 소규모 데이터셋을 기반으로 복제, 오류 레이블 또는 모호한 샘플을 탐지하고 제거함으로써 체계적으로 데이터 품질을 향상시키는 데 목적이 있다.
• 분류기와 판별기의 피드백을 활용하여 모델의 일반화 능력을 향상시키기 위해, 어려운 분류가 가능한 합성 샘플을 생성하는 GAN을 사용하는 데 목적이 있다.
• 제한된 훈련 데이터로도 데이터 품질 최적화와 타겟팅된 데이터 합성으로 모델 정확도를 크게 향상시킬 수 있음을 입증하는 데 목적이 있다.

제안 방법

• 다단계 해싱 파이프라인을 통해 복제 샘플을 탐지하고 제거하며, 훈련 및 검증 세트 간의 겹침이 없도록 보장한다.
• 회전, 대trast, 이동, 노이즈, 파선 등을 포함한 광범위한 데이터 증강 기법을 적용한 소규모 인간 검증 데이터셋을 기반으로 보조 분류기를 훈련시켜 샘플의 신뢰도를 평가한다.
• 보조 모델의 손실 값에 따라 샘플을 순위 매기며, 상위 K개(유효한) 및 하위 L개(의심스러운) 샘플은 인간 감시자에 의해 검토되어 레이블과 데이터 품질을 개선한다.
• GAN은 복합 손실 함수를 사용하여 훈련된다: $ \text{Gen Loss} = \delta \times \text{BCE}(g_{\text{disc}}, y_{\text{disc}}) - \gamma \times \text{CCE}(g_{\text{class}}, y_{\text{class}}) $, 여기서 $\delta=1$ 이고 $\gamma$ 는 선형적으로 0.5까지 증가시킨다.
• GAN은 노이즈가 있는 또는 모호한 숫자 변형(예: 'I'에 펜 스토크가 'II'와 유사하게 그려진 경우)과 같은 분류가 어려운 샘플을 의도적으로 생성하여 모델의 강건성을 향상시킨다.
• 보조 모델과 인간 검증의 피드백을 반복적으로 활용하여 데이터셋을 정교화함으로써 데이터 크기를 줄이고 모델 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터에서 체계적인 데이터 품질 향상이 모델 정확도 향상에 크게 기여할 수 있는가?
• RQ2 보조 모델을 활용한 사람의 참여 방식이 소규모 데이터셋에서 잘못 레이블이 지정되거나 모호한 샘플을 식별하고 수정하는 데 얼마나 효과적인가?
• RQ3 분류기와 판별기 피드백를 활용해 훈련된 GAN이 소규모 실세계 데이터셋에서 모델의 일반화 능력을 향상시키는 합성 샘플을 생성할 수 있는가?
• RQ4 데이터 합성은 얼마나 많은 훈련 데이터셋 크기를 줄일 수 있으며, 이를 통해 모델 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• 최적화된 데이터셋은 훈련 데이터 크기를 2067개에서 1370개로 34% 감소시켰고, 테스트 정확도는 64%에서 69%로 5% 향상되었다.
• 파이프라인은 첫 번째 반복에서 92%의 인간 검증 정확도를 달성했으며, 다섯 번째 라운드에는 89%로 유지되어 데이터 품질 향상의 일관성을 보였다.
• 추가로 8,229개의 실재 샘플을 추가한 결과 테스트 정확도가 83%로 상승하여, 기본 기준을 초과한 데이터 수집의 가치를 입증했다.
• 제안된 GAN을 통해 1,226개의 새로운 합성 샘플을 생성한 결과 테스트 정확도가 84%로 향상되어 합성 데이터가 강건성을 향상시킨다는 것을 보여주었다.
• 최종 모델은 최적화되고 합성된 데이터셋을 기반으로 훈련되어 훈련 정확도 100%와 검증 정확도 92%를 달성하여 강력한 일반화 능력을 보였다.
• GAN이 생성한 샘플은 'I'에 펜 스토리가 'II'와 유사하게 노이즈가 가미된 형태로 시각적으로 도전적인 경우였으며, 어려운 케이스에 대한 효과적인 데이터 증강이 이루어졌음을 시사했다.