[논문 리뷰] A Data-Augmentation Is Worth A Thousand Samples: Exact Quantification From Analytical Augmented Sample Moments

Randall Balestriero, Ishan Misra외 1명|arXiv (Cornell University)|2022. 02. 16.

Image and Video Quality Assessment인용 수 5

한 줄 요약

이 논문은 데이터 증강(DA)이 딥러닝에서 미치는 영향을 정량화하기 위해 정확한 폐쇄형 표현식을 유도함으로써 새로운 분석 프레임워크를 제안한다. 이는 증강된 샘플, 손실, 모델 출력의 기대값과 분산을 정확히 유도한다. 연구 결과, DA는 데이터 매니폴드의 구조와 일치하는 일반화된 티코노프 정규화를 유도하며, 정확한 정보 추정을 위해 약 10,000개의 증강 샘플이 필요하다는 점을 밝혀내며, TangentProp이 DA 샘플링 하에서 손실 분산을 최소화하기 위한 최적의 정규화자로 자연스럽게 유도됨을 보여준다.

ABSTRACT

Data-Augmentation (DA) is known to improve performance across tasks and datasets. We propose a method to theoretically analyze the effect of DA and study questions such as: how many augmented samples are needed to correctly estimate the information encoded by that DA? How does the augmentation policy impact the final parameters of a model? We derive several quantities in close-form, such as the expectation and variance of an image, loss, and model's output under a given DA distribution. Those derivations open new avenues to quantify the benefits and limitations of DA. For example, we show that common DAs require tens of thousands of samples for the loss at hand to be correctly estimated and for the model training to converge. We show that for a training loss to be stable under DA sampling, the model's saliency map (gradient of the loss with respect to the model's input) must align with the smallest eigenvector of the sample variance under the considered DA augmentation, hinting at a possible explanation on why models tend to shift their focus from edges to textures.

연구 동기 및 목표

• 데이터 증강(DA)이 모델의 일반화 및 학습 동역학에 미치는 영향을 이론적으로 분석하기.
• DA에 의해 유도된 정보를 정확하게 추정하기 위해 필요한 증강 샘플의 수를 정량화하기.
• DA 샘플링 하에서 모델 손실 및 출력의 민감도(분산)를 유도하기.
• DA에 의해 유도되는 명시적 정규화자와 그 최적화 과정에서의 관계를 규명하기.
• 왜 TangentProp이 DA 맥락에서 효과적인 정규화자로 나타나며, 이를 제1원리에서 유도할 수 있는가를 설명하기.

제안 방법

• 이미지 변환을 평탄화된 이미지 위에 선형 연산으로 모델링하기 위해 행렬-벡터 형식의 데이터스페이스 변환(DST)을 도입한다.
• 주어진 DA 정책 하에서 변형된 이미지, 손실, 모델 출력의 일阶모멘트(기대값 및 분산)에 대한 분석적 표현식을 유도한다.
• 두 번째 차수 테일러 전개(델타 방법)를 사용하여 DA 샘플링 하에서 기대 손실과 그 분산을 근사한다.
• 증강된 샘플 공분산 행렬의 스펙트럼 분해와 모델의 야코비안을 활용하여 손실 민감도를 특성화한다.
• 손실 분산이 모델의 야코비안 커널과 증강된 샘플 공분산 행렬의 주성분 고유벡터 간의 정렬과 연결됨을 규명한다.
• 손실 근사에서 제1원리에 기반해 손실 분산을 최소화하는 자연스러운 정규화자인 TangentProp을 재구성한다.

실험 결과

연구 질문

• RQ1 한 개의 원본 샘플에서 유도된 정보를 모델이 정확히 추정하기 위해 필요한 증강 샘플의 수는 얼마인가?
• RQ2 데이터 증강 정책의 선택이 딥러닝 모델의 최종 파라미터와 일반화에 어떻게 영향을 미치는가?
• RQ3 스토케스틱한 증강 데이터 샘플링에 따른 모델 손실의 민감도(분산)는 어떻게 되며, 학습 과정에서 어떻게 변화하는가?
• RQ4 주어진 데이터 증강 전략에 의해 유도되는 명시적 정규화자는 무엇이며, 데이터 매니폴드의 구조와 어떻게 관련되어 있는가?
• RQ5 왜 TangentProp이 데이터 증강 맥락에서 효과적인 정규화자로 나타나며, 이를 제1원리에서 유도할 수 있는가?

주요 결과

• 한 개의 원본 샘플에서 정보를 정확히 추정하기 위해 필요한 증강 샘플의 수는 약 10,000개 수준이다.
• 수천 개의 훈련 샘플을 증강하더라도 전체 데이터셋을 최소 50번 이상 증강해야 DA 정책이 정확히 학습될 수 있다.
• DA에 의해 유도되는 명시적 정규화자는 샘플 공분산 행렬의 가장 큰 고유벡터와 일치하는 방향으로 모델의 가중치 행렬 커널을 정렬하는 일반화된 티코노프 정규화에 해당한다.
• 손실 분산은 모델의 야코비안 커널이 증강된 샘플 공분산 행렬의 주성분 방향(가장 큰 고유벡터)과 정렬될 때 최소화된다.
• TangentProp 정규화는 DA 하에서 손실 분산을 최소화하기 위한 최적의 전략으로 자연스럽게 유도되며, 기대 손실의 두 번째 차수 테일러 근사에서 유도된다.
• 손실 분산이 손실 최소화만으로 감소하기 위해서는 모델의 야코비안이 전단위(전체 랭크)여야 하며, 이는 정규화로 추가로 감소시킬 수 있는 여유가 없기 때문이다.