[논문 리뷰] Differentiable Data Augmentation with Kornia

Jian Shi, Edgar Riba외 3명|arXiv (Cornell University)|2020. 11. 19.

Advanced Neural Network Applications참고 문헌 11인용 수 8

한 줄 요약

이 논문은 딥러닝에서 비차별 가능한 데이터 증강의 한계를 해결하기 위해, 계산 그래프 내에서 공간적 및 색상 변환을 통합하여 엔드 투 엔드 역전파를 가능하게 하는 PyTorch 기반의 차별 가능한 데이터 증강 프레임워크인 Kornia DDA를 소개한다. PyTorch의 autograd를 활용하고 증강 파ameter를 최적화할 수 있도록 함으로써, GPU 가속, 재현 가능하고 조합 가능한 데이터 증강 파이프라인을 달성하였으며, 고자원 환경에서 뛰어난 성능을 보이며, 차별 가능한 증강 정책 검색과 같은 새로운 접근 방식을 가능하게 하였다.

ABSTRACT

In this paper we present a review of the Kornia differentiable data augmentation (DDA) module for both for spatial (2D) and volumetric (3D) tensors. This module leverages differentiable computer vision solutions from Kornia, with an aim of integrating data augmentation (DA) pipelines and strategies to existing PyTorch components (e.g. autograd for differentiability, optim for optimization). In addition, we provide a benchmark comparing different DA frameworks and a short review for a number of approaches that make use of Kornia DDA.

연구 동기 및 목표

• 딥러닝에서 데이터 증강의 비차별성 문제를 해결하기 위해 증강 연산을 통해 기울기 흐름을 가능하게 하기.
• 신경망 학습과 원활하게 통합되는 PyTorch 기반의 모듈형이고 조합 가능한 API를 제공하여 차별 가능한 데이터 증강을 실현하기.
• 표준 PyTorch 학습 워크플로우를 사용해 배치, 밝기, 회전 등의 증강 초모수를 역전파를 통해 최적화할 수 있도록 하기.
• Kornia DDA를 TorchVision 및 Albumentations와 같은 기존 라이브러리와 다양한 하드웨어 및 데이터 조건에서 비교 평가하기.
• 지역적 특징 학습 및 자동 증강 정책 검색과 같은 고급 작업에서 차별 가능한 증강의 실용적 응용을 보여주기.

제안 방법

• Kornia DDA는 PyTorch의 autograd 엔진을 사용해 계산 그래프에 직접 통합되는 차별 가능한 레이어(예: RandomAffine, ColorJitter)로 데이터 증강을 구현한다.
• 프레임워크는 PyTorch의 nn.Module 및 nn.Parameter를 사용하여 기울기 기반 최적화가 가능한 차별 가능한 파ameter(예: 밝기, 대trast)를 허용한다.
• grid_sample 등의 차별 가능한 연산을 사용해 공간 및 색상 공간 변환을 통해 기울기 계산이 가능하도록 한다.
• 2D 및 3D 텐서 모두를 지원하며, 부피 데이터 증강을 위한 전용 레이어(예: CenterCrop3D, Affine3D)를 제공한다.
• 증강 파이프라인은 모듈형이며, torch.save 및 torch.load를 사용해 학습된 모델과 함께 저장 및 로드할 수 있는 직렬화 가능한 구성 요소로 구성된다.
• 시스템은 CPU/GPU/TPU 등 장치에서의 계산을 지원하며, PyTorch의 난수 시드 제어를 통해 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 PyTorch의 네이티브 학습 파이프라인에 차별 가능한 데이터 증강을 효율적으로 통합하여 증강 초모수의 엔드 투 엔드 최적화를 가능하게 할 수 있는가?
• RQ2 다양한 하드웨어 및 데이터 크기 조건에서 Kornia DDA는 TorchVision 및 Albumentations와 같은 비차별적 프레임워크와 비교해 성능가 어떻게 다를까?
• RQ3 차별 가능한 증강이 기울기 기반 최적화를 통해 지역적 특징 기술자 학습에 얼마나 기여할 수 있는가?
• RQ4 Kornia DDA는 Faster AutoAugment나 MADAO와 같은 효과적인 자동 증강 정책 검색을 가능하게 할 수 있는가?
• RQ5 Kornia DDA의 차별성 덕분에 모델과 증강 정책을 함께 최적화하는 새로운 학습 패러다임이 가능해지는가?

주요 결과

• 4개의 GPU를 사용하고 더 큰 이미지 크기(예: 512×512)일 경우, Kornia DDA는 TorchVision 및 Albumentations보다 뛰어난 추론 속도를 기록했으며, 각각 18.99초 및 16.12초 대비 16.87초의 런타임을 기록했다.
• 프레임워크는 GPU 메모리 오버헤드가 거의 없어 고성능 학습 파이프라인에 적합하다.
• 복잡한 차별 가능한 변환을 30줄로 간단화하여 기존 약 600줄의 커스텀 PyTorch 코드 대비 코드 복잡도를 20배 감소시켰다.
• 학습 후 최적화된 ColorJitter 파ameter는 밝기: [0.8048, 0.8363], 대비: [0.7030, 0.7323], 채도: [0.5999, 0.5976]로 기울기 기반 조정이 성공적으로 이루어졌음을 보여주었다.
• Kornia DDA는 차별 가능한 증강을 통한 엔드 투 엔드 학습을 성공적으로 지원하여, Faster AutoAugment 및 MADAO와 같은 프레임워크가 기울기 하강법을 통해 최적의 증강 정책을 학습할 수 있도록 하였다.
• 재현 가능하고 장치에 종속되지 않으며, 직렬화 가능한 증강 파이프라인을 제공하여 모델 이식성과 실험 일관성을 향상시켰다.