[논문 리뷰] Class Anchor Clustering: a Loss for Distance-based Open Set Recognition

Dimity Miller, Niko Sünderhauf외 2명|arXiv (Cornell University)|2020. 04. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 4

한 줄 요약

이 논문은 로짓 공간에서 고정된 클래스별 중심 주변에 조밀하고 명확한 클러스터를 형성하도록 훈련하는 거리 기반 손실인 Class Anchor Clustering (CAC)을 제안한다. 훈련 중에 중심을 학습하는 대신 고정된 중심을 锚정함으로써, CAC는 분류 정확도를 희생시키지 않은 채 TinyImageNet에서 개방 집합 인식 성능을 15.2% 향상시켰으며, 특히 물체 기반 데이터셋과 대규모 클래스 시나리오에서 뛰어난 성능을 발휘한다.

ABSTRACT

In open set recognition, deep neural networks encounter object classes that were unknown during training. Existing open set classifiers distinguish between known and unknown classes by measuring distance in a network's logit space, assuming that known classes cluster closer to the training data than unknown classes. However, this approach is applied post-hoc to networks trained with cross-entropy loss, which does not guarantee this clustering behaviour. To overcome this limitation, we introduce the Class Anchor Clustering (CAC) loss. CAC is a distance-based loss that explicitly trains known classes to form tight clusters around anchored class-dependent centres in the logit space. We show that training with CAC achieves state-of-the-art performance for distance-based open set classifiers on all six standard benchmark datasets, with a 15.2% AUROC increase on the challenging TinyImageNet, without sacrificing classification accuracy. We also show that our anchored class centres achieve higher open set performance than learnt class centres, particularly on object-based datasets and large numbers of training classes.

연구 동기 및 목표

• 기존의 크로스 엔트로피 훈련 이후 로짓 공간에서 사후 거리 측정에 의존하는 개방 집합 분류기의 한계를 해결하기 위해, 알려진 클래스의 조밀한 클러스터링을 보장하지 못하는 문제를 해결한다.
• 로짓 공간 내 고정된 클래스별 중심 주변으로 알려진 클래스를 명시적으로 클러스터링하도록 훈련하여 개방 집합 인식 성능을 향상시킨다.
• 사전에 고정된 중심(앵커 중심)이 훈련 중에 학습되는 중심보다 성능이 뛰어나며, 특히 내부 클래스 변동성이 높은 물체 기반 데이터셋에서의 성능을 평가한다.
• 증가하는 훈련 클래스 수에 대한 고정 중심의 확장성과 강건성(로버스트니)을 평가한다.
• 표준 분류 정확도를 떨어뜨리지 않으면서도 개방 집합 성능을 향상시키는 손실 함수를 개발한다.

제안 방법

• 로짓 공간 내 사전 정의된 클래스별 중심 주변으로 알려진 훈련 샘플이 조밀하게 클러스터링되도록 강제하는 새로운 손실 항목인 Class Anchor Clustering (CAC)을 도입한다.
• 백프로파게이션 중에 중심을 학습할 필요 없이, 고정된 클래스에 따라 달라지는 값으로 로짓 공간 내 중심을 锚정한다.
• 분류 및 클러스터링 목표를 동시에 최적화하기 위해 CAC 손실을 표준 크로스 엔트로피 손실과 결합하여 훈련 안정성을 확보한다.
• 각 샘플의 로짓 벡터와 해당 클래스의 고정된 중심 간의 L2 거리 최소화를 목표로 하는 거리 기반 목적 함수를 사용한다.
• 훈련 중에 CAC 손실을 적용하여 알려진 클래스 클러스터 간의 공간적 분리 효과를 유도하고, 알려지지 않은 샘플이 이들 클러스터에서 멀어지도록 유도한다.
• 표준 개방 집합 벤치마크에서 AUROC를 사용하여 성능을 평가하고, 다양한 데이터셋 및 클래스 복잡도 조건에서 고정 중심과 학습 중심을 비교한다.

실험 결과

연구 질문

• RQ1 로짓 공간 내 고정된 클래스 중심을 사용하여 훈련하면, 중심을 훈련 중에 학습하는 것보다 더 나은 개방 집합 인식 성능을 달성할 수 있는가?
• RQ2 CAC 손실은 크로스 엔트로피 훈련만을 사용할 때보다 알려진 클래스의 로짓 공간 내 클러스터링을 어떻게 향상시키는가?
• RQ3 내부 클래스 변동성이 높은 물체 기반 데이터셋(CIFAR10 및 TinyImageNet 등)에서 고정 중심이 성능 향상에 기여하는가?
• RQ4 알려진 클래스 수가 증가함에 따라 고정 중심을 사용한 CAC의 성능은 어떻게 변화하는가?
• RQ5 CAC 손실은 하이퍼파라미터 설정, 특히 앵커 크기와 손실 가중치에 대해 강건한가?

주요 결과

• CAC 손실을 사용한 훈련은 모든 6개의 표준 벤치마크 데이터셋에서 거리 기반 개방 집합 인식 성능을 최고 수준으로 달성한다.
• 도전적인 TinyImageNet 데이터셋에서 CAC는 이전 방법 대비 AUROC를 15.2% 향상시켰으며, 분류 정확도에 하락이 없었다.
• Center loss를 사용할 경우, 고정 중심은 물체 기반 데이터셋(CIFAR10 유사 데이터셋 및 TinyImageNet)에서 평균 2.2% 향상된 성능을 기록했고, CAC 손실을 사용할 경우 0.85% 향상되었다.
• 훈련 클래스 수가 증가함에 따라 고정 중심과 학습 중심 간의 성능 격차가 커지며, 이는 고정 중심이 대규모 클래스 시나리오에서 더 잘 확장됨을 시사한다.
• 고정 중심을 사용한 네트워크는 학습 중심을 사용한 경우보다 약 50% 더 빠르게 수렴하여, 훈련 안정성과 효율성이 향상됨을 시사한다.
• CAC 손실은 하이퍼파라미터 변화에 강건하며, 앵커 손실 가중치(0.05–0.8) 및 앵커 크기(5–20) 범위에서 분류 정확도와 AUROC가 각각 4% 이내로 변동하였다.