[논문 리뷰] VIPriors 1: Visual Inductive Priors for Data-Efficient Deep Learning Challenges

Robert-Jan Bruintjes, Attila Lengyel외 3명|arXiv (Cornell University)|2021. 03. 05.

Advanced Neural Network Applications참고 문헌 72인용 수 11

한 줄 요약

이 논문은 훈련 데이터를 최소한의 부분집합(예: 클래스당 50장의 이미지)으로 제한하고 사전학습을 금지함으로써 데이터 효율적인 딥러닝에 초점을 맞춘 VIPriors 챌린지의 첫 번째 버전을 제시한다. 최고 성능을 낸 솔루션들은 광범위한 데이터 증강, 모델 앙상블, 그리고 새로운 아키텍처를 통해 높은 정확도를 달성했으며, 가장 우수한 이미지 분류 모델은 5만 장의 이미지로 구성된 ImageNet 부분집합에서 73%의 Top-1 정확도를 기록하여 사전학습 없이도 강력한 데이터 효율성을 입증했다.

ABSTRACT

We present the first edition of "VIPriors: Visual Inductive Priors for Data-Efficient Deep Learning" challenges. We offer four data-impaired challenges, where models are trained from scratch, and we reduce the number of training samples to a fraction of the full set. Furthermore, to encourage data efficient solutions, we prohibited the use of pre-trained models and other transfer learning techniques. The majority of top ranking solutions make heavy use of data augmentation, model ensembling, and novel and efficient network architectures to achieve significant performance increases compared to the provided baselines.

연구 동기 및 목표

• 훈련 데이터를 극도로 줄인 조건에서 딥러닝의 데이터 효율성 격차를 해소하기 위해 도전 대회를 기획한다.
• 제한된 데이터와 계산 자원에서도 뛰어난 성능을 낼 수 있도록 시각적 인도적 사고(visual inductive priors) 연구를 촉진한다.
• 사전학습에 의존하지 않고 데이터 증강, 아키텍처 설계, 학습 기법 분야의 혁신을 장려한다.
• 이미지 분류, 객체 검출, 인스턴스 세그멘테이션, 동작 인식 등 핵심 컴퓨터 비전 과제에서 데이터 효율적 학습을 위한 벤치마크를 제공한다.
• 거대한 데이터셋이나 고성능 GPU가 필요하지 않은 접근 가능한 저자원 도전 대회를 통해 소규모 기관 및 기업을 지원한다.

제안 방법

• 이미지 분류에 대해 클래스당 50장의 이미지, 객체 검출에 대해 약 6,000장의 COCO 이미지, 도시 스케일 세그멘테이션에 대해 200장의 훈련 이미지, 동작 인식에 대해 약 4,800개의 UCF101 영상 클립을 사용해 훈련 데이터를 극도로 감소시킨 4개의 도전 과제를 설계했다.
• 모든 모델는 사전학습, 전이학습, 외부 데이터 사용을 엄격히 금지한 조건에서 끝내기부터 학습되었다.
• 참가자들은 Cutmix, 무작위 자르기, 수평 뒤집기, 프레임 건너뛰기 등 고도화된 데이터 증강 전략을 사용해 훈련 데이터를 합성적으로 확장했다.
• 최고의 솔루션들은 일반화 능력과 강건성을 향상시키기 위해 16개 이상의 모델을 앙상블하는 전략을 활용했다.
• DSK 네트워크, ResNeSt, TSM 모듈이 탑재된 SlowFast 등 새로운 효율적인 네트워크 아키텍처가 데이터 부족 상황에서 특징 학습을 향상시키는 데 사용되었다.
• 테스트 시점 증강과 랭크 풀링, 시간적 중심 차분 컨볼루션 등의 기법을 적용해 성능을 추가로 향상시켰다.

실험 결과

연구 질문

• RQ1 극도로 작은 데이터셋에서 끝내기부터 학습할 때 데이터 증강과 모델 앙상블 전략이 얼마나 효과적인가?
• RQ2 사전학습 없이도 새로운 효율적인 신경망 아키텍처가 기존 아키텍처보다 낮은 데이터 환경에서 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ3 RGB + 플로우 두 개의 스트림을 사용하는 비디오 모델이 4,800개의 훈련 클립만으로도 동작 인식에서 강력한 성능을 낼 수 있는가?
• RQ4 운동과 공간적 구조 등의 시각적 인도적 사고가 컴퓨터 비전 과제에서 데이터 효율성에 기여하는 방식은 무엇인가?
• RQ5 센터 손실이나 트리 감독과 같은 손실 함수가 데이터 부족 상황에서 일반화 능력을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 최고의 이미지 분류 모델은 5만 장의 이미지로 구성된 ImageNet 부분집합에서 73.03%의 Top-1 정확도를 달성하여 기준 모델을 크게 앞서갔다.
• 모든 상위 순위 솔루션은 일반화와 클래스 균형을 향상시키기 위해 특히 Cutmix와 무작위 자르기 기법을 광범위하게 활용했다.
• 16개 이상의 모델을 앙성하는 전략은 모든 과제에서 일관되게 적용되었으며, 이는 모든 과제에서 정확도를 크게 향상시켰다.
• 최고의 동작 인식 솔루션은 I3D와 C3D 네트워크를 사용한 이중 스트림(RGB+Flow) 아키텍처를 적용해 4,800개의 영상 클립 부분집합에서 90.83%의 정확도를 기록했다.
• DSK-net 및 향상된 HANet와 같은 새로운 아키텍처를 사용했음에도 불구하고, 성능 향상의 주요 원동력은 여전히 증강과 앙상블 같은 기존 기법이었다.
• 결과적으로 새로운 아키텍처는 도움이 되지만, 데이터 효율성 향상에 가장 큰 영향을 미친 요소는 데이터 증강과 앙상블 방법의 체계적 적용임을 시사한다.