[논문 리뷰] Visual Recognition with Deep Nearest Centroids

Wenguan Wang, Han Cheng외 2명|arXiv (Cornell University)|2022. 09. 15.

Remote-Sensing Image Classification인용 수 45

한 줄 요약

본 논문은 Deep Nearest Centroids(DNC)를 도입합니다. 이는 시각 인식 및 분할을 위해 클래스 서-센터를 사용하는 비모수적이고 사례 기반의 분류기로, 전통적 파라메트릭 소프트맥스 분류기 대비 투명성과 전이성을 향상시킵니다.

ABSTRACT

We devise deep nearest centroids (DNC), a conceptually elegant yet surprisingly effective network for large-scale visual recognition, by revisiting Nearest Centroids, one of the most classic and simple classifiers. Current deep models learn the classifier in a fully parametric manner, ignoring the latent data structure and lacking simplicity and explainability. DNC instead conducts nonparametric, case-based reasoning; it utilizes sub-centroids of training samples to describe class distributions and clearly explains the classification as the proximity of test data and the class sub-centroids in the feature space. Due to the distance-based nature, the network output dimensionality is flexible, and all the learnable parameters are only for data embedding. That means all the knowledge learnt for ImageNet classification can be completely transferred for pixel recognition learning, under the "pre-training and fine-tuning" paradigm. Apart from its nested simplicity and intuitive decision-making mechanism, DNC can even possess ad-hoc explainability when the sub-centroids are selected as actual training images that humans can view and inspect. Compared with parametric counterparts, DNC performs better on image classification (CIFAR-10, ImageNet) and greatly boots pixel recognition (ADE20K, Cityscapes), with improved transparency and fewer learnable parameters, using various network architectures (ResNet, Swin) and segmentation models (FCN, DeepLabV3, Swin). We feel this work brings fundamental insights into related fields.

연구 동기 및 목표

• 딥 시각 인식에서 파라메트릭 소프트맥스 분류기에 대한 간단하고 해석 가능한 대안을 제시하는 것을 목표로 한다.
• 클래스 내 잠재 데이터 구조를 서-센터 표현을 통해 포착한다.
• 거리 기반 비파라메트릭 분류를 통해 표현 학습에 직접적인 감독을 가능하게 한다.
• 고정된 클래스 고유 매개변수와 표현 학습을 분리하여 전이 가능성을 향상시킨다.
• 예측을 인간이 확인 가능한 서-센터(훈련 샘플)와 연결하여 설명 가능성을 보여준다.

제안 방법

• 거리 기반 규칙을 사용하여 모든 클래스의 가장 근접한 서-센터에 샘플을 할당하는 DNC 분류기를 정의한다.
• 특징 공간에서 각 클래스를 K개의 서-센터로 표현하며, 이는 클래스 내부의 결정론적(Deterministic) 클러스터링을 통해 학습된다.
• 클러스터링 문제를 운송 폴리토프(transportation polytope)로 완화하고 빠른 Sinkhorn 기반 알고리즘으로 해를 구한다.
• 가장 근접한 서-센터를 이용한 예측과 함께 클래스별 클러스터링으로 서-센터를 발견하는 과정을 교대로 학습한다.
• 가장 근접한 서-센터를 사용하여 클래스 확률을 계산하는 학습 손실을 구성해 비파라메트릭 분류를 가능하게 한다.
• 다양한 백본(예: ResNet, Swin) 및 분할 모델(FCN, DeepLabV3, Swin-UNet)과의 호환성을 보여준다.

실험 결과

연구 질문

• RQ1 대규모 시각 인식에서 비파라메트릭 중심점 기반 분류기가 파라메트릭 소프트맥스의 성능에 필적하거나 이를 능가할 수 있는가?
• RQ2 클래스 서-센터가 클래스 내 변이(intra-class variation)를 더 잘 포착하고 작업 간 전이 가능성을 향상시키는가?
• RQ3 서-센터까지의 거리를 통한 표현 학습이 분할 성능과 해석 가능성을 향상시키는가?
• RQ4 효율적인 Sinkhorn 기반 클러스터링이 학습 중 확장 가능한 서-센터 추정을 가능하게 하는가?
• RQ5 서-센터를 학습 샘플(훈련 샘플)으로 제한하는 것이 정확도 손실 없이 임시 설명 가능성을 제공하는가?

주요 결과

• DNC는 SCRATCH 학습에서 이미지 분류에서 파라메트릭 상대 모델을 능가하며, §4.1에서 CIFAR-10에서 top-1 0.23-0.24% 증가, ImageNet에서 0.24-0.32% 증가를 달성한다.
• DNC는 ImageNet 사전학습 백본을 사용하는 경우 ADE20K와 Cityscapes에서 픽셀 단위 분할 성능을 크게 향상시킨다(각각 1.6-2.5% mIoU, 1.1-1.9% mIoU) §4.2.
• 실제 훈련 이미지에 서-센터를 제한하면 임시 설명 가능성이 생기며 정확도 손실은 단 0.12%의 top-1로, 파라메트릭보다 0.17% 더 낫다, §4.3.
• 표현 학습에 초점을 둔 학습으로 출처 작업(ImageNet)에서 대상 작업(Cityscapes)으로의 지식 전이가 가능하다.
• 이 방법은 비지도 내 클래스 클러스터링과 지도 표현 학습을 시너지 효과를 내는 거리 기반 프레임워크로 결합한다.
• DNC 학습은 효율적인 클러스터링과 온라인 중심점 추정으로 ImageNet에서 약간의 느려짐(~5%) 만 발생한다.