[논문 리뷰] Improving Generalization via Scalable Neighborhood Component Analysis

Zhirong Wu, Alexei A. Efros외 1명|arXiv (Cornell University)|2018. 08. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 10

한 줄 요약

이 논문은 스케일러블 네이버후드 컴포넌트 분석(SNCA)을 제안하며, 이는 비모수적 방법으로 메트릭 학습을 통해 딥 특징 임베딩을 학습하여 개방 집합 및 소수 샘플 인식에서 일반화 성능을 향상시킨다. 증강된 비모수적 메모리를 사용하여 NCA를 대규모 데이터셋과 딥 네트워크에 스케일링함으로써, SNCA는 ImageNet 분류에서 최고 성능을 기록하고 소수 샘플 학습에서 파라미터 기반 기준 모델을 크게 능가하여 새로운 카테고리에 대한 우수한 일반화 능력을 입증한다.

ABSTRACT

Current major approaches to visual recognition follow an end-to-end formulation that classifies an input image into one of the pre-determined set of semantic categories. Parametric softmax classifiers are a common choice for such a closed world with fixed categories, especially when big labeled data is available during training. However, this becomes problematic for open-set scenarios where new categories are encountered with very few examples for learning a generalizable parametric classifier. We adopt a non-parametric approach for visual recognition by optimizing feature embeddings instead of parametric classifiers. We use a deep neural network to learn the visual feature that preserves the neighborhood structure in the semantic space, based on the Neighborhood Component Analysis (NCA) criterion. Limited by its computational bottlenecks, we devise a mechanism to use augmented memory to scale NCA for large datasets and very deep networks. Our experiments deliver not only remarkable performance on ImageNet classification for such a simple non-parametric method, but most importantly a more generalizable feature representation for sub-category discovery and few-shot recognition.

연구 동기 및 목표

• 새로운 카테고리가 소수의 예시로 나타나는 개방 집합 및 소수 샘플 인식 시나리오에서 파라미터 기반 분류기의 한계를 해결하기 위해.
• 임베딩 공간에서 의미적 근접성의 구조를 유지하는 비모수적 특징 임베딩을 학습하여 일반화 성능을 향상시키기 위해.
• 원래의 계산적 병목 현상으로 인해 제한되었던 네이버후드 컴포넌트 분석(NCA) 기준을 대규모 데이터셋과 딥 신경망에 스케일링하기 위해.
• 학습된 임베딩 위에서 단순한 k-NN 분류기가 ImageNet 및 소수 샘플 벤치마크에서 최고 성능을 내는 파라미터 기반 모델과 견줄 수 있거나 이를 능가할 수 있음을 입증하기 위해.

제안 방법

• 클래스 레이블에 기반한 의미적 유사성을 반영할 수 있도록, 임베딩 공간 내의 거리가 의미적 유사성과 일치하도록 특징 임베딩을 최적화하기 위해 네이버후드 컴포넌트 분석(NCA)을 활용한다.
• 학습 중에 이미지 임베딩을 저장하고 효율적으로 업데이트하기 위해 증강된 비모수적 메모리 메커니즘을 도입하여 전체 배치 계산을 피한다.
• 입력 이미지를 저차원의 임베딩 공간으로 매핑하기 위해 딥 신경망을 사용하며, 여기서 NCA 손실을 최소화한다.
• 소수 샘플 설정에서 각 에피소드에 맞게 미세조정 없이, 추론 시점에 학습된 거리 기반 메트릭을 사용한 k-NN 분류기를 적용한다.
• 미니배치를 사용한 확률적 학습을 적용하며, 각 순전파 이후에 메모리를 업데이트하여 데이터셋의 전체 표현을 유지한다.
• 임베딩 공간 내에서 가장 가까운 이웃의 기대 정확도를 최대화함으로써 NCA 목표 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 NCA와 같은 비모수적 메트릭 학습 접근 방식이 ImageNet과 같은 대규모 이미지 분류 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 증강된 메모리를 사용한 NCA를 통한 메트릭 학습이 소수 샘플 및 개방 집합 인식에서 더 나은 일반화 성능을 이끌어낼 수 있는가?
• RQ3 학습된 임베딩 위에서 k-NN 분류기가 동일한 학습 프rotocol 하에서 최고 성능을 내는 파라미터 기반 모델을 능가할 수 있는가?
• RQ4 전체 배치 계산 대신 외부 증강 메모리를 사용할 경우 NCA의 확장성은 어떻게 변화하는가?

주요 결과

• SNCA는 ResNet18 기반으로 ImageNet에서 57.8%의 top-1 정확도를 기록하여 최고 성능을 내는 파라미터 기반 모델에 근접한 성능을 달성한다.
• 소수 샘플 벤치마크인 mini-ImageNet에서 5-way 5-shot 설정에서 72.8%의 정확도를 기록하며, MAML 및 프로토타입 네트워크를 포함한 이전 방법들을 능가한다.
• mini-ImageNet의 5-way 15-shot 설정에서 44.8%의 정확도를 기록하여 더 높은 샘플 수의 소수 샘플 시나리오에서도 강력한 일반화 능력을 보여준다.
• 얕은 네트워크를 사용함에도 불구하고 프로토타입 네트워크 및 리레이션넷과 동등한 성능을 기록하여 다양한 아키텍처에서의 효과성을 입증한다.
• 새로운 카테고리로의 일반화 능력이 뛰어나며, 5-way 5-shot 설정에서 30.5%의 top-1 정확도를 기록하여 뛰어난 전이 성능를 보여준다.
• 절단 분석 결과, 증강된 메모리 메커니즘이 NCA가 대규모 데이터셋과 딥 네트워크에 효과적으로 스케일링되도록 하여 이전의 계산적 제약을 극복함을 입증한다.