[논문 리뷰] Towards Automatic Construction of Diverse, High-quality Image Dataset

Yazhou Yao, Jian Zhang외 5명|arXiv (Cornell University)|2017. 08. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 43인용 수 3

한 줄 요약

이 논문은 다중 텍스트 쿼리와 다중 시점, 다중 인스턴스 학습을 활용하여 노이즈가 있는 이미지와 쿼리를 걸러내는 웹 기반 자동 프레임워크를 제안한다. 이는 기존의 약한 감독 및 웹 감독 방법에 비해 이미지 분류, 교차 데이터셋 일반화 및 객체 검출 작업에서 뛰어난 성능을 달성하며, 공개된 100개 카테고리로 구성된 데이터셋(WSID-100)을 제공한다.

ABSTRACT

The availability of labeled image datasets has been shown critical for high-level image understanding, which continuously drives the progress of feature designing and models developing. However, constructing labeled image datasets is laborious and monotonous. To eliminate manual annotation, in this work, we propose a novel image dataset construction framework by employing multiple textual queries. We aim at collecting diverse and accurate images for given queries from the Web. Specifically, we formulate noisy textual queries removing and noisy images filtering as a multi-view and multi-instance learning problem separately. Our proposed approach not only improves the accuracy but also enhances the diversity of the selected images. To verify the effectiveness of our proposed approach, we construct an image dataset with 100 categories. The experiments show significant performance gains by using the generated data of our approach on several tasks, such as image classification, cross-dataset generalization, and object detection. The proposed method also consistently outperforms existing weakly supervised and web-supervised approaches.

연구 동기 및 목표

• 수동 데이터셋 구축의 한계를 해결하기 위해 노동력이 많이 들고 확장성이 낮은 문제를 해결한다.
• 이미지 검색 엔진을 활용한 웹 기반 이미지 데이터셋 제작에서의 확장성, 정확도 및 다양성 도전 과제를 극복한다.
• 다중 텍스트 쿼리를 활용해 수동 애너테이션에 대한 의존도를 줄이고 이미지 수집의 다양성과 품질을 향상시킨다.
• 클래스 간 및 클래스 내 노이즈 이미지를 동시에 걸러내면서도 데이터셋의 다양성을 유지하는 통합 프레임워크를 개발한다.
• 컴퓨터 비전 분야에서 약한 감독 및 웹 감독 학습 알고리즘을 평가하기 위한 벤치마크 데이터셋(WSID-100)을 구축한다.

제안 방법

• 카테고리당 다중 텍스트 쿼리를 사용하여 이미지 수집의 확장성과 다양성을 향상시키고 데이터셋 편향을 줄인다.
• 선형 프로그래밍 방법을 활용해 다중 시점, 다중 인스턴스 학습(MIL) 공식을 적용하여 클래스 간 및 클래스 내 노이즈 이미지를 동시에 필터링한다.
• 의미적으로 풍부하고 관련성이 높은 쿼리를 식별하고, 시각적으로 두드러지지 않거나 관련이 없는 쿼리를 제거함으로써 노이즈 텍스트 쿼리를 분류하고 필터링한다.
• 이미지 노이즈를 세 가지 유형—클래스 간, 클래스 내, 쿼리별—으로 분류하고 각각에 맞는 맞춤형 필터링 전략을 적용한다.
• 비드(클러스터) 내에서 시각적 클러스터링과 인스턴스 수준의 분류를 활용해 이미지 재정렬 및 노이즈 억제를 향상시킨다.
• 최적의 재현율과 정밀도 확보를 위해 키 파라미터(예: $S_i$, $ abla$)를 최적화하기 위해 3중 교차검증을 사용한다.

실험 결과

연구 질문

• RQ1 단일 쿼리 방법에 비해 다중 텍스트 쿼리가 자동으로 수집된 이미지 데이터셋의 다양성과 확장성에 크게 기여할 수 있는가?
• RQ2 클래스 간 및 클래스 내 노이즈 이미지를 동시에 필터링하면서도 데이터셋 다양성을 유지하는 데 다중 시점 및 다중 인스턴스 학습 접근법이 얼마나 효과적인가?
• RQ3 제안된 프레임워크가 이미지 분류 및 객체 검출과 같은 후행 작업에서 기존의 약한 감독 및 웹 감독 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 특히 노이즈 필터링 및 쿼리 선택 단계에서 하이퍼파rameter 변화에 대해 프레임워크가 얼마나 강인한가?
• RQ5 결과적으로 생성된 데이터셋(WSID-100)이 컴퓨터 비전 분야에서 약한 감독 학습 알고리즘 평가를 위한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• 제안된 프레임워크는 수동 애너테이션 및 웹 감독 기반 베이스라인에 비해 이미지 분류 정확도와 교차 데이터셋 일반화 성능을 크게 향상시켰다.
• 제안된 방법을 활용해 구축한 WSID-100 데이터셋은 VOC 2007 데이터셋에서 사전 훈련에 사용되었을 때 객체 검출 작업에서 최신 기술 수준의 성능을 달성했다.
• 노이즈 이미지의 클래스 간 필터링 정확도가 $ abla = 10^0$일 때 평균 98.2%에 도달하여 높은 강인성과 효과성을 입증했다.
• 선택한 $S_i = 0.6$로 설정함으로써 높은 재현율(0.6)과 만족스러운 정밀도를 유지하여 이미지 선택의 커버리지와 품질의 균형을 확보했다.
• 파라미터 변화에 대해 매우 강인하여 $ abla$ 값이 넓은 범위에서 변할 때도 필터링 정확도가 96% 이상 유지되었다.
• 순차적 필터링 접근법에서 흔히 발생하는 다양성 손실 문제를 피하기 위해 다양성과 정확도를 동시에 최적화함으로써 반복적 방법보다 뛰어난 성능을 발휘했다.