[논문 리뷰] Learning from Web Data with Memory Module

Yi Tu, Li Niu외 3명|arXiv (Cornell University)|2019. 06. 28.

Image Retrieval and Classification Techniques인용 수 2

한 줄 요약

이 논문은 정제된 감독 없이 웹에서 크롤링한 이미지의 레이블 노이즈와 배경 노이즈를 동시에 다루는 메모리 증강 다중인스턴스 학습 프레임워크를 제안한다. 영역 제안을 백에 묶고, 군집의 판별성에 기반해 동적 가중치를 할당하는 학습 가능한 메모리 모듈을 사용함으로써, 종단 간 학습을 실현하고 네 개의 벤치마크 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Learning from web data has attracted lots of research interest in recent years. However, crawled web images usually have two types of noises, label noise and background noise, which induce extra difficulties in utilizing them effectively. Most existing methods either rely on human supervision or ignore the background noise. In this paper, we propose a novel method, which is capable of handling these two types of noises together, without the supervision of clean images in the training stage. Particularly, we formulate our method under the framework of multi-instance learning by grouping ROIs (i.e., images and their region proposals) from the same category into bags. ROIs in each bag are assigned with different weights based on the representative/discriminative scores of their nearest clusters, in which the clusters and their scores are obtained via our designed memory module. Our memory module could be naturally integrated with the classification module, leading to an end-to-end trainable system. Extensive experiments on four benchmark datasets demonstrate the effectiveness of our method.

연구 동기 및 목표

• 웹에서 크롤링한 이미지의 레이블 노이즈와 배경 노이즈라는 이중 과제를 해결하기 위해, 효과적인 자기지도 학습을 방해하는 요소를 제거하는 것.
• 학습 중 인간 레이블이 부여된 정제된 이미지가 필요로 하지 않는 방법을 개발하는 것.
• 분류 헤드와 메모리 모듈을 통합하여 종단 간 학습을 가능하게 하는 것.
• 대표적인 영역 가중치 부여를 통해 노이즈가 많은 웹 데이터에서 모델의 강인성과 정확도를 향상시키는 것.

제안 방법

• 이 방법은 동일한 카테고리에 속하는 이미지와 그들의 영역 제안(ROIs)을 다중인스턴스 학습 프레리즘에 따라 백에 묶는다.
• 메모리 모듈은 ROIs의 대표적인 군집을 학습하고, 각 ROI에 대해 가장 가까운 군집의 판별성 점수에 기반해 가중치를 할당한다.
• 메모리 모듈은 미분 가능하며 분류 모듈과 함께 공동으로 학습되어 종단 간 최적화를 가능하게 한다.
• 클러스터 점수는 키-밸류 메모리 메커니즘을 사용해 학습 도중 동적으로 업데이트되며, 특징 표현을 저장하고 검색한다.
• ROIs는 고점수 군집에 가까운 영역일수록 더 높은 가중치를 받으며, 더 대표적이고 판별성이 높은 영역이 강조된다.
• 이 프레임워크는 정제된 이미지 감독 없이 노이즈가 많은 웹 데이터만을 기반으로 종단 간 학습된다.

실험 결과

연구 질문

• RQ1 자기지도 학습 방법이 정제된 감독 없이 웹에서 크롤링한 이미지의 레이블 노이즈와 배경 노이즈를 효과적으로 다룰 수 있는가?
• RQ2 노이즈가 많은 웹 이미지 환경에서 대표적이고 판별성이 높은 ROIs를 자동으로 식별하고 가중치를 부여할 수 있는가?
• RQ3 메모리 모듈이 다중인스턴스 학습 프레임워크에 효과적으로 통합되어 강인성과 성능을 향상시킬 수 있는가?
• RQ4 군집의 판별성에 기반한 동적 ROI 가중치 부여가 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 정제된 감독 없이 노이즈가 많은 웹 데이터에서 학습함에도 불구하고 네 개의 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.
• 메모리 모듈은 학습 도중 더 대표적이고 판별성이 높은 ROIs에 집중함으로써 모델의 강인성을 크게 향상시킨다.
• 종단 간 학습 가능한 아키텍처는 다양한 웹 이미지 데이터셋에서 일관된 성능 향상을 이룬다.
• 제거 분석 결과, 레이블 노이즈와 배경 노이즈 처리 기능이 전체 성능 향상에 기여하는 것으로 확인된다.