[논문 리뷰] ProtoNet: Learning from Web Data with Memory

Yi Tu, Li Niu외 2명|arXiv (Cornell University)|2019. 06. 28.

Text and Document Classification Technologies인용 수 4

한 줄 요약

ProtoNet는 각 클래스에 대한 대표 프로토타입을 학습하기 위해 메모리 모듈을 사용함으로써 웹에서 크롤링한 이미지의 레이블 노이즈와 배경 노이즈를 완화하는 새로운 딥러닝 프레임워크이다. 이로 인해 정제된 레이블이 없는 상태에서도 노이즈 필터링이 가능해지며, 네 가지 벤치마크에서 제로샷 및 패기샷 학습 성능을 향상시킨다. 학습 과정에서 노이즈가 있는 샘플과 후보 영역을 효과적으로 제거함으로써 성능을 향상시킨다.

ABSTRACT

Learning from web data has attracted lots of research interest in recent years. However, crawled web images usually have two types of noises, label noise and background noise, which induce extra difficulties in utilizing them effectively. Most existing methods either rely on human supervision or ignore the background noise. In this paper, we propose the novel ProtoNet, which is capable of handling these two types of noises together, without the supervision of clean images in the training stage. Particularly, we use a memory module to identify the representative and discriminative prototypes for each category. Then, we remove noisy images and noisy region proposals from the web dataset with the aid of the memory module. Our approach is efficient and can be easily integrated into arbitrary CNN model. Extensive experiments on four benchmark datasets demonstrate the effectiveness of our method.

연구 동기 및 목표

• 웹에서 크롤링한 이미지 데이터셋에서 레이블 노이즈와 배경 노이즈의 이중 과제를 해결하기 위해.
• 정제된 훈련 이미지가 필요 없이 노이즈가 있는 이미지와 영역 후보를 필터링할 수 있는 자기지도 학습 방법을 개발하기 위해.
• 강력하고 구분력 있는 프로토타입을 학습함으로써 노이즈가 있는 웹 데이터에서 CNN 모델을 효과적으로 미세조정할 수 있도록 하기 위해.
• 각 클래스당 가장 대표적인 특징만 식별하고 유지하는 메모리 증강 모듈을 설계하기 위해.

제안 방법

• 메모리 모듈은 웹 이미지의 특징 임bedding을 사용하여 각 클래스의 프로토타입 특징을 저장하고 업데이트한다.
• 구분력 있고 대표적인 특징을 강조하는 미분 가능한 클러스터링 메커니즘을 통해 프로토타입을 학습한다.
• 학습된 프로토타입과의 거리 기반으로 노이즈가 있는 이미지와 영역 후보를 필터링함으로써 노이즈 영향을 감소시킨다.
• 메모리 모듈은 어떤 CNN 백본에도 통합되어 최소한의 아키텍처 변경으로도 엔드 투 엔드 훈련이 가능하다.
• 이 프레임워크는 자기지도 학습 방식으로 작동하며, 훈련 중에 인간이 애너테이션한 정제된 이미지가 필요 없다.

실험 결과

연구 질문

• RQ1 메모리 기반의 프로토타입 학습 메커니즘은 노이즈가 많은 웹 데이터에서 정제되고 대표적인 특징을 효과적으로 식별할 수 있는가?
• RQ2 정제된 지도 학습에 의존하지 않고 ProtoNet이 노이즈가 있는 이미지와 영역 후보를 얼마나 잘 필터링할 수 있는가?
• RQ3 ProtoNet은 노이즈가 있는 웹 데이터셋에서 패기샷 및 제로샷 학습 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 ProtoNet은 다양한 벤치마크 데이터셋과 CNN 아키텍처에 대해 얼마나 일반화 가능한가?

주요 결과

• ProtoNet는 학습된 프로토타입을 사용해 노이즈가 있는 샘플을 필터링함으로써 네 가지 벤치마크 데이터셋에서 패기샷 학습 정확도를 크게 향상시켰다.
• 정제된 훈련 이미지가 필요 없이도, 패기샷 분류 벤치마크에서 최신 기술 수준의 성능을 달성했다.
• 메모리 모듈은 웹에서 크롤링한 데이터셋에서 레이블 노이즈와 배경 노이즈의 영향을 효과적으로 감소시켰다.
• 이 프레임워크는 다양한 CNN 아키텍처와 호환되며 기존 모델에 원활하게 통합될 수 있다.