[논문 리뷰] Webly Supervised Learning of Convolutional Networks

Xinlei Chen, Abhinav Gupta|arXiv (Cornell University)|2015. 05. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 58인용 수 67

한 줄 요약

이 논문은 검색 엔진에서 얻은 쉬운 청소년 이미지로 먼저 훈련한 후, 학습된 유사성 구조를 활용해 더 어려운 현실적인 이미지로 적응시키는 이단계 웹리 서포티드 학습 방법을 제안한다. 이는 노이즈가 많은 웹 데이터를 사용하여 컨volutional 신경망(CNN)을 훈련시키는 데에 효과적이다. 이 방법은 인간 레이블링된 VOC 훈련 데이터를 전혀 사용하지 않고도 PASCAL VOC 2007 객체 검출에서 최신 기술 수준의 성능을 달성한다. 이는 ImageNet 미세조정 모델을 능가한다.

ABSTRACT

We present an approach to utilize large amounts of web data for learning CNNs. Specifically inspired by curriculum learning, we present a two-step approach for CNN training. First, we use easy images to train an initial visual representation. We then use this initial CNN and adapt it to harder, more realistic images by leveraging the structure of data and categories. We demonstrate that our two-stage CNN outperforms a fine-tuned CNN trained on ImageNet on Pascal VOC 2012. We also demonstrate the strength of webly supervised learning by localizing objects in web images and training a R-CNN style detector. It achieves the best performance on VOC 2007 where no VOC training data is used. Finally, we show our approach is quite robust to noise and performs comparably even when we use image search results from March 2013 (pre-CNN image search era).

연구 동기 및 목표

• 인간 레이블링된 바운딩 박스 없이도 대규모 노이즈가 많은 웹 데이터에서 CNN을 효과적으로 훈련시킬 수 있는지 탐색한다.
• 이미지 검색 엔진과 소셜 미디어에서 비롯된 웹 이미지 컬렉션의 데이터 노이즈와 편향 문제를 해결한다.
• ImageNet과 같은 인간 레이블링된 데이터셋에 비해 비용이 낮고 확장성이 높은 대체 방법을 개발하여 강력한 시각 모델을 훈련시킨다.
• 웹리 서포티드 CNN이 객체 검출 및 장면 분류와 같은 후속 작업으로 일반화할 수 있음을 보여준다.
• 인간 레이블링된 VOC 훈련 데이터 없이도 웹 데이터만으로 훈련된 CNN이 ImageNet 사전 훈련 모델과 경쟁 가능한 성능을 낼 수 있음을 보여준다.

제안 방법

• Google 이미지 검색에서 확보한 쉬운, 고정밀도의 이미지로 초기 CNN을 훈련시되, 이는 더 깔끔하고 객체 중심 이미지의 대표성을 가진다고 가정한다.
• 초기 CNN을 사용해 더 큰 양의 어려운, 현실적인 이미지에서의 특징을 추출한다. 이 이미지들은 플리커에서 확보되었으며, 더 노이즈가 많고 다수의 객체나 복잡한 배경을 포함한다.
• CNN 특징을 기반으로 이미지 간의 유사성 기반 관계 그래프를 구성하여 카테고리 간의 의미적 및 시각적 구조를 모델링한다.
• 학습된 관계 그래프를 정규화 요소로 사용하여 Flickr 이미지에서 초기 CNN을 미세조정함으로써 일반화 능력을 향상시키고 노이즈에 대한 과적합을 줄인다.
• 데이터 및 카테고리 간의 관계 구조를 활용해 쉬운 이미지에서 어려운 이미지로의 적응을 이끌어내며, 교육 커리큘럼 전략을 모방한다.
• 최종 모델을 후속 작업, 예를 들어 R-CNN 스타일의 객체 검출 및 장면 분류에 활용하며, 대상 작업의 인간 레이블링된 훈련 데이터를 전혀 사용하지 않는다.

실험 결과

연구 질문

• RQ1 인간 레이블링된 바운딩 박스 없이도 대규모 노이즈가 많은 웹 데이터에서 CNN을 효과적으로 훈련시킬 수 있는가?
• RQ2 깨끗한 이미지로 시작하여 더 노이즈가 많은 이미지로 적응하는 이단계 훈련 전략이 후속 작업의 일반화 능력과 성능을 향상시키는가?
• RQ3 웹리 서포티드 CNN이 VOC 훈련 데이터를 전혀 사용하지 않고도 PASCAL VOC와 같은 객체 검출 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 이미지 검색 결과가 딥러닝 이전 시대(예: 2013년 3월)의 것이라도 이 방법이 노이즈 데이터에 대해 강건한가?
• RQ5 도메인 특화된 미세조정 없이도 웹 데이터에서만 학습된 특징이 장면 분류와 같은 작업에서 경쟁력을 가질 수 있는가?

주요 결과

• 이단계 웹리 서포티드 CNN은 VOC 2012에서 ImageNet 미세조정 CNN보다 뛰어난 일반화 능력을 보이며, 더 어려운 데이터에서 뛰어난 성능을 낸다.
• PASCAL VOC 2007에서는 단 한 장의 VOC 훈련 이미지도 사용하지 않고도 최신 기술 수준의 성능을 달성한다.
• MIT Indoor-67 장면 분류에서 66.5%의 정확도를 기록했으며, 이는 오직 웹 쿼리와 도메인 특화 데이터 없이도 Places 데이터베이스로 훈련된 CNN과 유사한 성능을 낸다.
• 딥러닝의 발전 이전인 2013년 3월의 이미지 검색 결과를 사용하더라도 이 방법은 여전히 노이즈가 많은 데이터에 강건함을 보이며, 뛰어난 일반화 능력을 입증한다.
• 기본 모델 대비 국소화 오차를 크게 줄였지만, 배경 포함 및 검색어의 다의어성으로 인한 문제는 여전히 존재한다.
• 검출에서의 잘못된 양성 결과는 주로 배경 포함과 검색어의 다의어성(예: 'bicycle'가 오토바이를 의미하거나 'caprice'가 자동차를 의미함)으로 인해 발생하며, 이는 더 나은 의미 해석 기술이 필요함을 시사한다.