[논문 리뷰] You Only Cut Once: Boosting Data Augmentation with a Single Cut

Junlin Han, Pengfei Fang외 6명|arXiv (Cornell University)|2022. 01. 28.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 이미지를 높이 또는 너비 방향으로 균일하게 두 조각으로 자르고, 각 조각에 대해 독립적으로 증강을 적용한 후 재결합하는 파라미터가 없는 데이터 증강 방법인 You Only Cut Once(YOCO)을 제안한다. YOCO는 지역적 및 전역적 특징의 다양성을 향상시켜 이미지 분류, 대비적 사전학습, 저수준 시각 작업 전반에서 성능을 향상시키며, 추가적인 계산 비용 없이도 표준 이미지 수준의 증강 방식을 항상 능가한다.

ABSTRACT

We present You Only Cut Once (YOCO) for performing data augmentations. YOCO cuts one image into two pieces and performs data augmentations individually within each piece. Applying YOCO improves the diversity of the augmentation per sample and encourages neural networks to recognize objects from partial information. YOCO enjoys the properties of parameter-free, easy usage, and boosting almost all augmentations for free. Thorough experiments are conducted to evaluate its effectiveness. We first demonstrate that YOCO can be seamlessly applied to varying data augmentations, neural network architectures, and brings performance gains on CIFAR and ImageNet classification tasks, sometimes surpassing conventional image-level augmentation by large margins. Moreover, we show YOCO benefits contrastive pre-training toward a more powerful representation that can be better transferred to multiple downstream tasks. Finally, we study a number of variants of YOCO and empirically analyze the performance for respective settings. Code is available at GitHub.

연구 동기 및 목표

• 이미지 수준의 데이터 증강 방식이 부분적인 정보로부터 객체를 인식하도록 모델을 충분히 장려하지 못하는 한계를 해결하기 위해.
• 이미지 수준이 아닌 조각 수준에서 증강을 수행할 경우 모델의 일반화 능력과 견고성이 향상되는지 탐구하기 위해.
• 초기화 파라미터나 계산 오버헤드 없이 다양성을 향상시키는 단순하고 즉시 사용 가능한 증강 전략을 개발하기 위해.
• ImageNet, CIFAR, 그리고 비등류 시각 작업(예: 강우 제거, 초해상도 복원)을 포함한 다양한 작업, 아키텍처, 데이터셋에서 YOCO의 성능을 평가하기 위해.

제안 방법

• YOCO는 입력 이미지를 높이 또는 너비 방향으로 균일하게 두 개의 조각으로 나눈다.
• 각 조각은 색상 왜곡, 수평 뒤집기, 컷아웃 등의 동일한 데이터 증강을 독립적으로 적용받는다.
• 증강된 조각들은 다시 하나의 이미지로 결합되어 모델 학습에 사용된다.
• 자르는 방향(높이 또는 너비)은 샘플마다 무작위로 선택되어 추가 파라미터 없이 다양성을 도입한다.
• YOCO는 플러그인 모듈로 구현되어 기존의 증강 파ip라인과 원활하게 통합된다.
• 이미지 수준과 조각 수준의 증강 전략을 비교 평가하며, 자르기 비율과 증강 조합에 대한 분석도 수행한다.

실험 결과

연구 질문

• RQ1 표준 이미지 수준의 증강 방식과 비교해 YOCO는 모델의 일반화 능력과 견고성을 어떻게 향상시키는가?
• RQ2 YOCO는 언제 가장 효과적이며, 어떤 조건에서 성능 저하가 발생할 수 있는가?
• RQ3 YOCO는 표현 학습을 어떻게 향상시키며, 어떤 인도크티브 바이어스를 도입하는가?
• RQ4 YOCO는 저수준 및 고수준 시각 작업 전반에 걸쳐 일반적으로 적용 가능한가?
• RQ5 YOCO는 자기지도 대비적 사전학습 및 후속 전이 학습 성능을 향상시키는가?

주요 결과

• CIFAR-10과 CIFAR-100에서 YOCO는 테스트한 12종의 증강 방식 중 11종에서 성능 향상을 보였으며, 이미지 수준의 증강 방식보다도 더 높은 성능 향상을 기록했다.
• ImageNet에서 YOCO는 일반화, 부분 이미지 인식, 校정, 적대적 견고성, 오염에 대한 견고성, 분포 이탈에 대한 견고성 등 6개 평가 지표에서 이미지 수준의 증강 방식을 모두 능가했다.
• MoCo v2와 SimSiam를 사용한 대비적 사전학습에서 YOCO는 더 강력한 표현을 생성했으며, 후속 분류, 객체 검출, 인스턴스 세그멘테이션 작업에서 전이 성능을 향상시켰다.
• 강우 제거 작업에서 YOCO는 Rain100L 벤치마크에서 PSNR를 0.73 dB 향상시켜 저수준 시각 작업에서의 효과를 입증했다.
• 초해상도 복원 작업에서는 다양한 데이터셋(DIV2K, Set14, Urban100 등)에서 합성 및 현실적인 환경 모두에서 이미지 수준의 증강 방식과 동일하거나 略로 뛰어난 성능을 기록했다.
• YOCO는 유의미한 계산 비용이 없으며, 초깃값 조정이 필요 없어 기존 학습 파이프라인에 무료로 즉시 적용 가능한 향상 요소이다.