[논문 리뷰] Do We Need More Training Data?

Xiangxin Zhu, Carl Vondrick외 2명|2015. 03. 05.

Electronic Health Records Systems인용 수 3

한 줄 요약

이 논문은 HOG 기반 템플릿 모델에서 훈련 데이터를 단지 늘이는 것이 객체 검출 성능을 향상시키는지 조사한다. 표준 혼합 모델이 모델 용량의 한계와 데이터 노이즈로 인해 빠르게 포화 상태에 이르는 것을 발견하였으며, 새로운 템플릿으로 외삽할 수 있도록 구성적이고 파rameter 공유 파트를 사용하는 예시 변형 부분 모델(EDPM)을 제안한다. 이는 제한된 데이터 조건에서도 비모수적 혼합 모델보다 유의미하게 높은 성능을 달성하며, 단지 데이터 양보다 모델 아키텍처와 파라미터 공유가 더 중요하다는 것을 입증한다.

ABSTRACT

Datasets for training object recognition systems are steadily increasing in size. This paper investigates the question of whether existing detectors will continue to improve as data grows, or saturate in performance due to limited model complexity and the Bayes risk associated with the feature spaces in which they operate. We focus on the popular paradigm of discriminatively trained templates defined on oriented gradient features. We investigate the performance of mixtures of templates as the number of mixture components and the amount of training data grows. Surprisingly, even with proper treatment of regularization and "outliers", the performance of classic mixture models appears to saturate quickly ($\sim$10 templates and $\sim$100 positive training examples per template). This is not a limitation of the feature space as compositional mixtures that share template parameters via parts and that can synthesize new templates not encountered during training yield significantly better performance. Based on our analysis, we conjecture that the greatest gains in detection performance will continue to derive from improved representations and learning algorithms that can make efficient use of large datasets.

연구 동기 및 목표

• 현재 데이터셋 규모를 초월해 훈련 데이터를 늘일수록 HOG 기반 객체 검출기의 성능이 계속 향상되는지 여부를 규명하는 것.
• 표준 템플릿 혼합 모델이 훈련 데이터가 증가함에도 불구하고 빠르게 포화 상태에 이르는 이유를 진단하는 것.
• 예를 들어 종횡비 또는 외관 군집화와 같은 기존의 하위범주 탐지 방법(예: 클러스터링)이 더 큰 데이터셋을 활용하는 데에 충분한지 평가하는 것.
• 더 나은 일반화와 데이터에 따른 성능 향상을 가능하게 하는 비모수적 DPM 확장(EDPM)을 제안하는 것.
• 특히 구성적이고 파라미터 공유된 표현 방식이 단지 데이터 양을 늘리는 것보다 더 큰 영향을 미친다는 것을 입증하는 것.

제안 방법

• 저자는 PASCAL VOC보다 약 10배 큰 스케일의 대규모 데이터셋을 사용하여 HOG 특징에 대해 선형 SVM을 훈련시어, 데이터 크기와 모델 복잡도에 따른 성능을 연구한다.
• 표준 비모수적 템플릿 혼합 모델을 평가하며, 구성 요소 수와 훈련 예제 수를 다양하게 조정하고, 조기 성능 포화 현상을 관찰한다.
• 예시 변형 부분 모델(EDPM)을 도입한다. 이는 템플릿 간에 파트 파라미터를 공유하고, 훈련 예시들로부터 새로운 구성으로 조합할 수 있도록 하는 DPM의 비모수적 확장이다.
• EDPM는 파트 기반의 구성적 구조를 사용하여 지수적으로 큰 템플릿 집합을 암묵적으로 표현하며, 명시적인 나열 없이도 효율적인 최근접 이웃 스타일 추론을 가능하게 한다.
• 데이터셋 크기에 따라 모델 복잡도를 정규화하기 위해 교차 검증을 적용하여 과적합과 더 많은 데이터에서의 성능 저하를 보정한다.
• EDPM를 표준 DPM과 비모수적 혼합 모델과 비교하여, 파라미터 공유와 구성성 덕분에 더 나은 일반화와 확장성 확보가 가능하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 HOG 기반 템플릿 검출기의 성능은 훈련 데이터가 증가함에 따라 계속 향상되는가, 아니면 모델 한계로 인해 포화 상태에 이르는가?
• RQ2 정규화를 적용해도 표준 비모수적 템플릿 혼합 모델이 더 많은 데이터에서 효과적으로 확장되지 못하는 이유는 무엇인가?
• RQ3 DPM처럼 구성적이고 파라미터 공유된 모델이 새로운 객체 구성으로 일반화할 때 비모수적 혼합 모델보다 성능이 뛰어나게 되는가?
• RQ4 수동 또는 히ュ리스틱한 하위범주 레이블링 전략(예: 종횡비 클러스터링)이 더 큰 데이터셋에서의 성능 향상에 얼마나 제한적인가?
• RQ5 비모수적이고 구성적인 모델인 EDPM이 전통적인 혼합 모델보다 더 큰 데이터셋을 더 잘 활용할 수 있는가? 특히, 새로운 템플릿으로의 외삽 기능을 통해 가능할까?

주요 결과

• 표준 비모수적 HOG 템플릿 혼합 모델은 약 10개의 구성 요소와 구성 요소당 약 100개의 양성 예제에서 성능 포화 상태에 이르며, 훈련 데이터가 증가함에도 불구하고 그렇다.
• 적절한 정규화가 부족한 상용 구현에서는 더 많은 데이터에서 성능 저하가 관찰되며, 교차 검증을 통해 이를 보정할 수 있다.
• 변형 부분 모델(DPM)은 템플릿 간에 파트 파라미터를 공유함으로써 지수적으로 큰 구성 집합을 효과적으로 표현함으로써 비모수적 혼합 모델보다 더 높은 성능을 달성한다.
• 예시 변형 부분 모델(EDPM)은 제한된 훈련 데이터 조건에서도 비모수적 혼합 모델과 표준 DPM 모두를 뛰어넘는 성능을 보이며, 공유된 파트에서 새로운 템플릿을 조합함으로써 가능해진다.
• EDPM는 카테고리당 단지 100~200개의 양성 예제로도 높은 성능을 달성하며, 이는 HOG 템플릿이 실제로는 제한된 효율적 용량을 가지며 수천 개의 예제가 필요로 하지 않는다는 것을 시사한다.
• 이 연구는 향후 검출 성능 향상은 단지 훈련 데이터 크기 증가보다는 더 나은 모델 인덕티브 바이어스—특히 구성성과 파라미터 공유—에 기인할 것이라고 결론 내린다.