[논문 리뷰] Dataset Augmentation in Feature Space

Terrance DeVries, Graham W. Taylor|arXiv (Cornell University)|2017. 02. 17.

Domain Adaptation and Few-Shot Learning인용 수 67

한 줄 요약

논문은 학습된 피처 공간에서 작동하는 도메인에 구애받지 않는 데이터 증강 방법을 제시한다. 인접 컨텍스트 벡터 사이를 외삽하는 것은 음성, 모션, 이미지 등 여러 도메인에서 성능을 향상시킨다.

ABSTRACT

Dataset augmentation, the practice of applying a wide array of domain-specific transformations to synthetically expand a training set, is a standard tool in supervised learning. While effective in tasks such as visual recognition, the set of transformations must be carefully designed, implemented, and tested for every new domain, limiting its re-use and generality. In this paper, we adopt a simpler, domain-agnostic approach to dataset augmentation. We start with existing data points and apply simple transformations such as adding noise, interpolating, or extrapolating between them. Our main insight is to perform the transformation not in input space, but in a learned feature space. A re-kindling of interest in unsupervised representation learning makes this technique timely and more effective. It is a simple proposal, but to-date one that has not been tested empirically. Working in the space of context vectors generated by sequence-to-sequence models, we demonstrate a technique that is effective for both static and sequential data.

연구 동기 및 목표

• 도메인 특이적 변환을 수작업으로 설계하는 것을 피하는 도메인에 구애받지 않는 증강 접근법을 제시한다.
• 비지도 표현 학습을 활용하여 간단한 변환으로도 현실적인 합성 데이터를 얻을 수 있는 피처 공간을 만든다.
• 다양한 데이터셋에서 extrapolation, interpolation, 노이즈 기반 증강을 평가한다.
• 피처-스페이스 증강이 여러 작업에서 state-of-the-art에 근접하거나 이를 능가하는 것을 보여준다.

제안 방법

• 비레이블 데이터로부터 context-vector 피처 공간을 학습하기 위해 시퀀스 오토인코더(두 계층으로 쌓은 LSTM)를 학습시킨다.
• 해독하거나 분류기에 입력하기 전에 컨텍스트 벡터를 변환(노이즈, 보간, 외삽)하여 데이터를 증강한다.
• 각 타임스텝에서 컨텍스트 벡터에 디코더를 조건화하여 더 나은 재구성을 얻는다.
• 각 샘플에 대해 피처 공간에서 K개의 인접한 같은 클래스의 이웃을 찾아 보간 또는 외삽을 통해 합성 샘플을 생성한다.
• 시퀀스 분류기 학습 시 디코딩된 컨텍스트 벡터를 이용해 시퀀스를 재구성하거나, 정적 분류기의 피처로 직접 사용한다.
• 시계열 및 이미지 도메인에서 증강을 평가하며, MNIST, CIFAR-10, AUSLAN, Arabic digits, UCF Kinect, UJI Pen Characters를 포함한다.

실험 결과

연구 질문

• RQ1 피처 공간에서의 증강이 다양한 도메인에 걸쳐 지도 학습 성능을 향상시키나?
• RQ2 피처 공간에서의 노이즈, 보간, 외삽 중 어떤 변환이 일반화 향상에 가장 효과적인가?
• RQ3 피처 공간의 외삽이 전통적인 입력 공간 증강을 넘어서는 이점을 제공할 수 있으며 도메인 특화 기법과 보완적인가?

주요 결과

• 컨텍스트 벡터 간 외삽은 여러 데이터셋에서 성능을 크게 향상시킨다(예: Arabic Digits: 기준 오차 1.36%에서 최근접 이웃 외삽으로 0.74%로 감소).
• 무작위 노이즈는 일부 작업에서 성능을 다소 향상시킬 수 있지만, 보간은 주의 깊게 타깃팅되지 않으면 결과를 해칠 수 있다.
• 이웃 간 보간은 더 매끄러운 전이를 만들어내는 경향이 있고, 외삽은 변동성을 증가시켜 복잡한 결정 경계에서 정확도를 높이는 경우가 많다.
• MNIST에서 피처 공간 외삽은 오차를 0.95%로 감소시키고 기준 1.093%를 이겼으며 일부 설정에서 입력 공간의 선형 변환을 능가했다.
• CIFAR-10에서 피처 공간 외삽은 오차를 29.24%로 감소시키고 기준 30.65%를 이겼으며 입력 공간 증강과 결합 시 보완적 이점을 시사한다.
• AUSLAN 및 UCF Kinect 전반에서 피처 공간의 외삽은 기준 대비 유의한 향상을 보여주었고 때로는 도메인 특화 결과에 근접하거나 이를 상회했다.