[논문 리뷰] Learning from Web Data: the Benefit of Unsupervised Object Localization

Xiaoxiao Sun, Liang Zheng외 2명|arXiv (Cornell University)|2018. 12. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 46인용 수 4

한 줄 요약

이 논문은 웹 데이터와 표준 데이터셋 간의 분포 갭을 줄이기 위해 비지도 객체 정위 방법을 제안하며, 세분화된 이미지 분류 성능을 향상시킨다. 웹 이미지 제안 영역에 척도, 정위, 레이블 일관성 제약 조건을 적용하여 웹 데이터의 편향을 제거함으로써, 스탠포드 도그에서 최대 6.87%의 정확도 향상과 MIT Indoor67에서 5.3%의 성능 향상을 달성하여 최신 기술 수준을 확보한다.

ABSTRACT

Annotating a large number of training images is very time-consuming. In this background, this paper focuses on learning from easy-to-acquire web data and utilizes the learned model for fine-grained image classification in labeled datasets. Currently, the performance gain from training with web data is incremental, like a common saying "better than nothing, but not by much". Conventionally, the community looks to correcting the noisy web labels to select informative samples. In this work, we first systematically study the built-in gap between the web and standard datasets, i.e. different data distributions between the two kinds of data. Then, in addition to using web labels, we present an unsupervised object localization method, which provides critical insights into the object density and scale in web images. Specifically, we design two constraints on web data to substantially reduce the difference of data distributions for the web and standard datasets. First, we present a method to control the scale, localization and number of objects in the detected region. Second, we propose to select the regions containing objects that are consistent with the web tag. Based on the two constraints, we are able to process web images to reduce the gap, and the processed web data is used to better assist the standard dataset to train CNNs. Experiments on several fine-grained image classification datasets confirm that our method performs favorably against the state-of-the-art methods.

연구 동기 및 목표

• 대규모이자 저비용임에도 불구하고 딥러닝에서 웹 데이터가 제한된 성능 향상을 제공하는 이유를 탐구하기 위해.
• 웹 데이터셋과 표준 데이터셋 간의 '내재된 갭'(객체 척도, 정위, 밀도, 레이블 품질의 차이)을 특정하고 정량화하기 위해.
• 데이터 기반 제약 조건을 활용한 비지도 객체 정위를 통해 이 분포 갭을 줄이는 방법을 개발하기 위해.
• 편향이 제거된 웹 데이터가 세분화된 분류 벤치마크에서 미세조정된 CNN 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 이중 단계 제약 메커니즘을 제안: (1) 검출된 영역 내 객체 척도, 정위, 객체 수를 제어하는 형상 제약; (2) 웹 태그와 일치하는 영역을 걸러내는 레이블 일관성 제약.
• 비지도 객체 정위를 웹 이미지에 적용하여 후보 영역을 생성한 후, 기하학적 및 의미적 제약 조건을 적용하여 분포 이탈을 줄인다.
• 공간적 및 척도 규칙성 기반으로 $\Delta_{form}$을 도입하여 중복되거나 노이즈가 많은 영역을 억제함으로써 정위 품질을 향상시킨다.
• 웹 태그와 일치하지 않는 영역을 걸러내기 위해 $\Delta_{label}$을 도입함으로써 노이즈 감독을 감소시킨다.
• 제약 조건이 적용된 웹 데이터를 사용해 표준 데이터셋에서 CNN(예: ResNet-110)을 사전학습하거나 미세조정함으로써 일반화 성능을 향상시킨다.
• 제안된 구성 요소의 효과를 검증하기 위해 아블레이션 연구와 교차 데이터셋 평가를 수행한다.

실험 결과

연구 질문

• RQ1 웹 데이터셋과 표준 데이터셋 간의 분포 갭이 웹 데이터 사용 시 성능 향상에 얼마나 영향을 미치는가?
• RQ2 객체 척도, 정위, 밀도, 레이블 품질의 차이가 이 갭에 어떻게 기여하는가?
• RQ3 기하학적 및 의미적 제약 조건을 갖춘 비지도 객체 정위가 내재된 갭을 효과적으로 줄일 수 있는가?
• RQ4 제안된 방법이 웹 데이터를 사용한 세분화된 이미지 분류에서 최신 기술 수준을 초월하는가?
• RQ5 객체 중심(예: Food-101, Stanford Dogs)과 장면 기반(MIT Indoor67) 작업을 포함한 다양한 복잡도의 데이터셋에서 이 방법은 어떻게 성능을 내는가?

주요 결과

• 불규칙한 객체 척도, 정위, 밀도, 레이블 노이즈로 인해 발생하는 웹 데이터셋과 표준 데이터셋 간의 내재된 갭이 웹 데이터의 성능 향상에 크게 기여하지 못하게 한다.
• Food-101에서 제안된 방법은 웹 데이터 직접 사용 대비 정확도를 6.25% 향상시켜 ResNet-110를 사용해 84.31%의 정확도를 달성한다.
• Stanford Dogs에서 편향 제거 후 정확도가 6.87% 향상되어 81.26%에서 88.13%로 상승하며, 기준 웹 데이터 사용 방식을 능가한다.
• MIT Indoor67에서는 정확도가 5.3% 향상되어 79.63%에서 84.93%로 상승하여 복잡한 장면 인식 작업에서도 효과를 입증한다.
• 아블레이션 연구 결과, $\Delta_{form}$과 $\Delta_{label}$ 제약 조건이 모두 필수적이며, 각각 성능 향상에 기여한다.
• 기존 연구(예: Goldfince [4]) 대비 데이터의 1/3만으로도 최신 기술 수준의 성능을 달성하여 높은 데이터 효율성을 보여준다.