[논문 리뷰] Learning Visual Features from Large Weakly Supervised Data

Armand Joulin, Laurens van der Maaten외 2명|arXiv (Cornell University)|2015. 11. 06.

Multimodal Machine Learning Applications참고 문헌 49인용 수 9

한 줄 요약

이 논문은 1억 개의 약한 감독을 받은 Flickr 이미지와 캡션에서 처음부터 컨볼루션 신경망을 훈련시켜, ImageNet의 완전한 감독 데이터에서 학습된 것과 거의 유사한 시각적 특징을 학습할 수 있음을 보여준다. 주요 기여는 대규모 약한 감독 학습이 경쟁적인 특징을 생성하고, 수동으로 레이블링하지 않고도 의미적 단어 유사성과 다국어 단어 대응 관계를 포착할 수 있음을 입증한 데 있다.

ABSTRACT

Convolutional networks trained on large supervised dataset produce visual features which form the basis for the state-of-the-art in many computer-vision problems. Further improvements of these visual features will likely require even larger manually labeled data sets, which severely limits the pace at which progress can be made. In this paper, we explore the potential of leveraging massive, weakly-labeled image collections for learning good visual features. We train convolutional networks on a dataset of 100 million Flickr photos and captions, and show that these networks produce features that perform well in a range of vision problems. We also show that the networks appropriately capture word similarity, and learn correspondences between different languages.

연구 동기 및 목표

• 완전한 감독 데이터 없이도 고품질의 시각적 특징을 학습할 수 있는지 조사하기.
• ImageNet과 같은 완전히 레이블링된 데이터셋에서 훈련된 모델과 비교해, 이미지-캡션 쌍에 약한 레이블을 적용한 모델의 성능 평가하기.
• 약한 감독 모델이 의미적 구조, 예를 들어 단어 유사성과 다국어 대응 관계와 같은 의미적 관계를 학습하는지 평가하기.
• 노이즈가 많고 대규모 웹 데이터를 사용해 딥 네트워크를 처음부터 훈련시키는 것이 가능한지 탐색하기.
• 클래스별 균일 샘플링이 약한 감독 설정에서 특징 품질에 미치는 영향을 판단하기.

제안 방법

• 캡션과 연관된 1억 개의 이미지로 구성된 Flickr 데이터셋에서 컨볼루션 네트워크를 처음부터 훈련시키기.
• 이미지 특징에서 단어 레이블을 예측하기 위해 다중 클래스 로지스틱 손실을 사용하며, 각 단어를 별개의 클래스로 간주하기.
• 훈련 중에 클래스별 균일 샘플링을 적용하여 빈도가 높은 단어가 특징 학습을 지배하지 않도록 방지하기.
• 이미지 분류 및 단어 유사성과 같은 후행 작업에서 학습된 시각적 특징 평가하기.
• 영어와 프랑스어 단어 임베딩 간의 코사인 유사도를 계산하여 다국어 단어 대응 관계 측정하기.
• 큰 다국어 사전을 사용해 학습된 임베딩에서의 다국어 단어 정렬 품질 검증하기.

실험 결과

연구 질문

• RQ1 약한 감독 데이터에서 학습된 시각적 특징가 ImageNet의 완전한 감독 데이터에서 학습된 특징과 경쟁할 수 있는가?
• RQ2 이미지-캡션 쌍에서 훈련된 모델이 단어 간 의미적 관계, 예를 들어 유사성과 유사성 유추와 같은 관계를 학습하는가?
• RQ3 약한 감독 모델이 서로 다른 언어의 단어 간 다국어 대응 관계를 학습할 수 있는가?
• RQ4 클래스별 균일 샘플링이 약한 감독 학습에서 학습된 시각적 특징의 품질에 어떤 영향을 미치는가?
• RQ5 다중 레이블 이미지-단어 예측 작업에 대해 다중 클래스 로지스틱 손실이 효과적인가?

주요 결과

• 약 1억 개의 약한 레이블이 부여된 Flickr 이미지에서 훈련된 모델은 ImageNet의 120만 개의 수동으로 레이블링된 이미지에서 훈련된 모델과 거의 동등한 수준의 시각적 특징 품질을 달성한다.
• 모델은 단어 유사성을 효과적으로 학습하며, K=10,000개의 단어에서 영어에서 프랑스어로의 번역에 대해 정밀도@10이 55.34%로 우연의 수준을 훨씬 초월한다.
• 다국어 단어 대응 관계는 효과적으로 학습되며, K=10,000개의 단어에서 영어에서 프랑스어로의 번역에 대해 정밀도@1은 33.01%를 기록한다.
• 학습된 모델은 단어를 시각적 개념과 연관지워 학습하며, 'tomatoes'(토마토)와 'tomates'(프랑스어 토마토)와 같이 의미적으로 관련된 단어 쌍 간의 코사인 유사도가 높다는 것으로 확인된다.
• 클래스별 균일 샘플링은 특징 품질을 크게 향상시키며, 훈련 데이터에서 빈도가 높은 단어에 대한 과적합을 방지한다.
• 다중 클래스 로지스틱 손실은 다중 레이블 설정에서도 잘 작동하여, 대규모 약한 감독 환경에서 노이즈가 많고 희소한 레이블에 대한 강건성을 보여준다.