[논문 리뷰] Rethinking Nearest Neighbors for Visual Classification

Menglin Jia, Bor-Chun Chen외 4명|arXiv (Cornell University)|2021. 12. 15.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 훈련 및 추론 모두에서 k-최근접 이웃(k-NN)을 통합하여 현대 신경망 분류기의 성능을 향상시키는 단순하면서도 효과적인 방법을 제안한다. 훈련 중 k-NN 예측을 통해 어려운 예제를 식별하고, 테스트 시점에 k-NN 및 모델의 확률을 선형으로 보간함으로써, 특히 저데이터 환경과 미세 구분 인식에서 최신 기준 성능을 달성하며, 표준 선형 분류기보다 뛰어나며 딥 러닝 시대에 고전적 방법의 지속적인 가치를 입증한다.

ABSTRACT

Neural network classifiers have become the de-facto choice for current "pre-train then fine-tune" paradigms of visual classification. In this paper, we investigate k-Nearest-Neighbor (k-NN) classifiers, a classical model-free learning method from the pre-deep learning era, as an augmentation to modern neural network based approaches. As a lazy learning method, k-NN simply aggregates the distance between the test image and top-k neighbors in a training set. We adopt k-NN with pre-trained visual representations produced by either supervised or self-supervised methods in two steps: (1) Leverage k-NN predicted probabilities as indications for easy vs. hard examples during training. (2) Linearly interpolate the k-NN predicted distribution with that of the augmented classifier. Via extensive experiments on a wide range of classification tasks, our study reveals the generality and flexibility of k-NN integration with additional insights: (1) k-NN achieves competitive results, sometimes even outperforming a standard linear classifier. (2) Incorporating k-NN is especially beneficial for tasks where parametric classifiers perform poorly and / or in low-data regimes. We hope these discoveries will encourage people to rethink the role of pre-deep learning, classical methods in computer vision. Our code is available at: https://github.com/KMnP/nn-revisit.

연구 동기 및 목표

• 현대 딥 러닝 파이프라인에서 고전적 k-NN 분류기의 역할을 재평가하기 위해.
• 특히 저데이터 또는 미세 구분 인식 시나리오에서 k-NN가 현대 신경망 모델과 보완될 수 있는지 조사하기 위해.
• 훈련 및 추론 모두에서 k-NN를 통합하여 모델의 강건성과 정확도를 향상시키는 통합 프레임워크를 개발하기 위해.
• 비모수적이고 '게으른'(lazy) 방법임에도 불구하고 사전 학습된 딥 페처와 조합될 경우 k-NN가 여전히 매우 효과적임을 입증하기 위해.
• 딥 러닝 이전의 방법들에 대한 재관심을 불러일으키기 위해, 현대 신경망과의 상호보완적 강점을 보여주기 위해.

제안 방법

• 훈련 중에 k-NN 예측을 사용해 어려운 예제를 식별하고, k-NN 신뢰도에 기반해 교차 엔트로피 손실을 조정함으로써 모델이 어려운 샘플에 집중하도록 유도한다.
• 추론 시점에 최종 예측은 모델 출력과 k-NN 예측 확률 분포를 선형으로 보간하여 얻는다.
• k-NN 분류기는 재학습이 필요 없이, 감독 또는 자기지도 학습 모델에서 얻은 사전 학습된 시각적 특징에 직접 적용된다.
• 이 방법은 다양한 백본(ResNet, ViT, Swin)과 사전 학습 목표(ImageNet, MoCo, DINO, Barlow Twins)에 적용 가능하며 광범위한 호환성을 보인다.
• 일반화 성능 향상을 위해 검증 데이터에서 보간 계수를 튜닝한다.
• 여러 벤치마크에서 표준 선형 평가 및 엔드 투 엔드 미세 조정 프rotocol을 통해 평가된다.

실험 결과

연구 질문

• RQ1 k-NN를 현대 딥 러닝 파이프라인에 통합하면 시각 분류 성능 향상에 기여할 수 있는가?
• RQ2 저데이터 환경이나 미세 구분 인식 작업에서 k-NN가 특별한 이점을 제공하는가?
• RQ3 훈련 시점에 k-NN 예측을 통합하는 것이 추론 전용 통합보다 더 효과적인가?
• RQ4 동일한 특징을 사용할 때 k-NN는 표준 선형 분류기와 비교해 어떻게 성능을 내는가?
• RQ5 k-NN는 다양한 사전 학습된 표현과 아키텍처에 걸쳐 강력하고 모델에 종속되지 않는 구성 요소로 기능할 수 있는가?

주요 결과

• k-NN 통합은 ImageNet, 미세 구분 벤치마크, NeWT 벤치마크를 포함한 모든 평가된 데이터셋에서 성능 향상을 보이며 일관된 성과를 기록한다.
• ImageNet 선형 평가 프로토콜에서, ViT-S/16 특징을 사용할 경우 최상위 1위 정확도가 80.2%에 도달하여 표준 선형 분류기보다 뛰어나다.
• iNaturalist2021-mini 및 NeWT 벤치마크와 같은 저데이터 환경에서는 k-NN 통합으로 인해 뚜렷한 향상이 발생했으며, 평균 정확도에서 최대 5.2% 향상되었다.
• Caltech-UCSD Birds-200-2011 및 Stanford Dogs 데이터셋에서 상태최저성능(SOTA)을 달성했으며, 이전 SOTA를 초과 1% 이상의 최상위 1위 정확도로 뛰어넘었다.
• ResNet-50 및 ViT-B/16를 포함한 모든 백본 및 사전 학습 조합에서 k-NN는 선형 분류기와 비교해 일관되게 우수하거나 동등한 성능을 기록했다.
• 제거 분석 결과, 훈련 및 추론 모두 통합이 추론 전용 통합보다 더 효과적이며, ImageNet에서 평균 1.5% 향상이 있었다.