[논문 리뷰] Dreaming More Data: Class-dependent Distributions over Diffeomorphisms for Learned Data Augmentation

Søren Hauberg, Oren Freifeld외 3명|arXiv (Cornell University)|2015. 10. 09.

Generative Adversarial Networks and Image Synthesis인용 수 49

한 줄 요약

이 논문은 라이만 다양체 위의 디오토피즘으로서 이미지 간의 공간 변환을 모델링하는 학습된, 클래스별로 다른 데이터 증강 방법을 제안한다. 각 클래스별로 이러한 변환에 대한 확률적 분포를 학습하고 이를 활용해 새로운 훈련 데이터를 생성함으로써, 특히 소규모 데이터셋에서 뚜렷한 정확도 향상을 달성한다. 이 방법은 MNIST 및 그 변종에서 MLP와 CNN 실험 모두에서 수동 증강 기법을 능가한다.

ABSTRACT

Data augmentation is a key element in training high-dimensional models. In this approach, one synthesizes new observations by applying pre-specified transformations to the original training data; e.g.~new images are formed by rotating old ones. Current augmentation schemes, however, rely on manual specification of the applied transformations, making data augmentation an implicit form of feature engineering. With an eye towards true end-to-end learning, we suggest learning the applied transformations on a per-class basis. Particularly, we align image pairs within each class under the assumption that the spatial transformation between images belongs to a large class of diffeomorphisms. We then learn a class-specific probabilistic generative models of the transformations in a Riemannian submanifold of the Lie group of diffeomorphisms. We demonstrate significant performance improvements in training deep neural nets over manually-specified augmentation schemes. Our code and augmented datasets are available online.

연구 동기 및 목표

• 수동 데이터 증강의 한계를 해결하기 위해 수작업으로 설계된 변환에 의존하고 모든 클래스에 동일하게 적용하는 기존 방법의 문제점을 해결한다.
• 훈련 데이터 내재된 클래스별로 다른 공간 변환을 자동으로 발견함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 이미지의 변형을 라이만 다양체 위의 디오토피즘에 대한 확률적 분포로 모델링하여 안정적이고 일반화 가능한 증강을 실현한다.
• 학습된 변환을 통해 현실적이고 다양한 훈련 샘플을 생성함으로써 분류 성능, 특히 소규모 데이터셋에서의 성능 향상을 도모한다.
• 기존 데이터 증강의 확장성 있고 원칙적인 대안을 제공하며, 클래스별 불변성에 적응 가능한 방법을 제공한다.

제안 방법

• 각 클래스에 대해, 이미지 간 공간 변환은 C¹ 디오토피즘으로 간주하는 조건 하에 쌍별 이미지 정렬을 수행한다.
• 추정된 디오토피즘 집합은 디오토피즘의 리 군의 유한차원 라이만 부분다양체에 매핑된다.
• 디오토피즘의 라이만 평균 지점에서의 탄성공간에 클래스별 다변량 정규분포를 학습한다.
• 새로운 훈련 샘플은 훈련 세트에서 이미지를 하나 선택하고, 학습된 분포에서 변환을 샘플링한 후 이를 이미지에 적용함으로써 생성된다.
• CPAB(제약된 양전자 단층촬영 기반 정렬) 표현을 활용하여 고표현력과 저차원성, 동시에 디오토피즘적이고 역행 가능한 변환을 보장한다.
• 이 방법은 다층퍼셉트론과 컨volutional 신경망 모두에 적용되며, MNIST 및 그 변종에서 성능이 평가된다.

실험 결과

연구 질문

• RQ1 데이터로부터 클래스별로 다른 변환을 학습하는 증강 기법이 수작업으로 설계된 증강 전략을 능가할 수 있는가?
• RQ2 이미지 간 공간 변환을 디오토피즘의 라이만 다양체 위의 확률적 분포로 어떻게 모델링할 수 있는가?
• RQ3 데이터로부터 증강 기법을 학습하면 일반화 성능이 향상되며, 특히 소규모 데이터셋에서 그러한 향상이 나타나는가?
• RQ4 이 방법은 의료 영상이나 시계열 분석과 같은 다른 분야로 확장될 수 있는가?
• RQ5 일반적인 수동으로 정의된 증강과 비교해 클래스별 증강이 모델 성능에 미치는 영향은 무엇인가?

주요 결과

• InfiMNIST500 데이터셋(클래스당 500장의 이미지)에서, 이 방법은 컨볼루션 네트워크의 테스트 오차를 1.06%로 줄였으며, 기준 수동 증강 기법을 크게 능가했다.
• AlignMNIST500에서 컨볼루션 네트워크는 테스트 오차 0.84%를 기록하여 소규모 데이터셋에서 최고 성능을 달성했다.
• 학습된 증강 기법은 전체 훈련 세트에 수동 증강을 적용한 경우와 소규모 세트에 수동 증강을 적용한 경우를 모두 능가했으며, 이는 데이터 효율성 향상을 시사한다.
• AlignMNIST에서 컨볼루션 네트워크는 테스트 오차 0.44%를 기록했으며, 최고의 수동 증강 기준 대비 15% 상대적 향상이 있었다.
• 이 방법은 각 클래스의 내재된 변동성에 맞춰진 다양하고 현실적인 증강을 생성함으로써, 소규모 데이터셋에서도 대규모 모델을 훈련시킬 수 있도록 한다.
• 라이만 기하학의 활용으로 생성된 변환는 부드럽고 역행 가능하며, 고차원 이동장 모델의 불안정성을 피한다.