[논문 리뷰] Does Data Augmentation Lead to Positive Margin?

Shashank Rajput, Zhili Feng외 3명|arXiv (Cornell University)|2019. 05. 08.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 데이터 증강(DA)이 경험적 리스크 최소화자(empirical risk minimizers)에서 양의 마진을 증명 가능하게 강제할 수 있는지 조사한다. 선형 및 특정 비선형 모델의 경우, 비영 마진을 달성하기 위해 지수적으로 많은 수의 증강 샘플이 필요하다는 것을 보여주며, 주요 결과는 일반적으로 사용되는 DA 기법이 지수적으로 많은 점을 추가한 후에야 의미 있는 마진을 제공할 수 있음을 시사한다. 이는 이러한 기법의 내성적 강건성 보장에 대한 근본적인 한계를 드러낸다.

ABSTRACT

Data augmentation (DA) is commonly used during model training, as it significantly improves test error and model robustness. DA artificially expands the training set by applying random noise, rotations, crops, or even adversarial perturbations to the input data. Although DA is widely used, its capacity to provably improve robustness is not fully understood. In this work, we analyze the robustness that DA begets by quantifying the margin that DA enforces on empirical risk minimizers. We first focus on linear separators, and then a class of nonlinear models whose labeling is constant within small convex hulls of data points. We present lower bounds on the number of augmented data points required for non-zero margin, and show that commonly used DA techniques may only introduce significant margin after adding exponentially many points to the data set.

연구 동기 및 목표

• 데이터 증강(DA)이 경험적 리스크 최소화자에서 양의 마진을 증명 가능하게 강제할 수 있는지 이해하는 것.
• 마진 최대화를 통한 분류기 강건성 향상에 있어 DA의 이론적 한계를 분석하는 것.
• 선형 및 비선형 모델에서 비영 마진을 달성하기 위해 필요한 증강 데이터 포인트 수의 하한을 유도하는 것.
• 특히 고차원 공간에서 DA가 큰 마진을 갖는 분류기로 이어질 수 있는 조건을 조사하는 것.
• 랜덤 노이즈 또는 적대적 편향과 같은 표준 DA 기법이 마진 강제를 통해 강건성을 달성하는 데 얼마나 효과적인지 평가하는 것.

제안 방법

• 증강된 데이터 세트 위에서 0/1 손실을 사용한 경험적 리스크 최소화(ERM)를 통해 문제를 수리적으로 정의한다.
• 마진을 주어진 p-노름 하에 결정 경계로부터의 최소 거리로 정의한다.
• 선형 분류기와 데이터 포인트의 작은 볼록체(hulls) 내에서 예측값이 일정한 비선형 모델의 일군을 분석한다.
• d차원 공간에서 양의 마진을 보장하기 위해 필요한 증강 데이터 포인트 수의 하한을 유도한다.
• 단위 구면 위의 랜덤 벡터와 볼록체를 사용한 확률 기하학적 추론을 통해 마진을 근사한다.
• 고차원 확률 이론의 결과(예: Klartag & Kozma, 2009; Alonso-Gutierrez, 2008)를 활용하여, 높은 확률로 마진이 √(log(N/d)/d) × r 비례로 유계임을 보인다.

실험 결과

연구 질문

• RQ1 데이터 증강이 경험적 리스크 최소화자에서 비영 마진을 증명 가능하게 강제할 수 있는가?
• RQ2 선형 및 비선형 모델에서 양의 마진을 확보하기 위해 필요한 최소한의 증강 데이터 포인트 수는 얼마인가?
• RQ3 입력 공간의 차원 수가 데이터 증강을 통한 마진 확보의 샘플 복잡도에 어떻게 영향을 미치는가?
• RQ4 랜덤 노이즈나 적대적 편향과 같은 일반적으로 사용되는 데이터 증강 기법이 마진을 충분히 증가시키는가?
• RQ5 데이터 증강이 큰 마진을 갖는 분류기로 이어질 수 있는 조건은 무엇이며, 언제 실패하는가?

주요 결과

• d차원에서 선형으로 분리 가능한 데이터의 경우, 어떤 데이터 증강 전략을 사용하든 양의 마진을 보장하기 위해 최소 d+1개의 증강 데이터 포인트가 필요하다.
• 일반적으로 사용되는 데이터 증강 기법은 입력 차원에 비례해 지수적으로 많은 수의 증강 포인트를 추가한 후에야 의미 있는 마진을 강제할 수 있다.
• 증강된 데이터로 훈련된 분류기의 마진은 높은 확률로 √(C₁ log(2N/d)/d) × r 이하로 유계이며, 여기서 N은 증강 포인트 수이고 r은 편향 반경이다.
• 편향 반경 r이 작고 데이터가 잘 분리되어 있을 경우, 달성 가능한 최대 마진은 양성 및 음성 클래스 간 거리의 절반 이하로 제한된다.
• ε < d(X₊,X₋)/2 이면, ε-존중 클래스 내에 정확히 d(X₊,X₋)/2의 마진을 갖는 분류기가 존재하므로, 이론적 상한이 정확함을 보여준다.
• 유도된 식으로 마진이 유계임 확률은 1−2exp(−C₂d log(N/d)) 이상이므로, N/d가 크면 이에 대한 신뢰도가 높다.