[논문 리뷰] Class Anchor Clustering: a Distance-based Loss for Training Open Set Classifiers

Dimity Miller, Niko Sünderhauf외 2명|arXiv (Cornell University)|2020. 04. 06.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 히스토그램 공간에서 고정된 클래스에 따라 달라지는 앵커 중심 주변에 밀집된 클래스 특화 클러스터를 형성하도록 딥 네ural 네트워크를 훈련시키는 거리 기반 손실인 Class Anchor Clustering (CAC)을 제안한다. 훈련 중에 이 클러스터링을 명시적으로 최적화함으로써 CAC는 개방 집합 인식 성능을 향상시켜, 정확도를 떨어뜨리지 않은 채 TinyImageNet에서 AUROC에 2.4% 향상시키며, 학습된 중심을 사용하는 이전 방법들을 능가한다.

ABSTRACT

In open set recognition, deep neural networks encounter object classes that were unknown during training. Existing open set classifiers distinguish between known and unknown classes by measuring distance in a network's logit space, assuming that known classes cluster closer to the training data than unknown classes. However, this approach is applied post-hoc to networks trained with cross-entropy loss, which does not guarantee this clustering behaviour. To overcome this limitation, we introduce the Class Anchor Clustering (CAC) loss. CAC is a distance-based loss that explicitly trains known classes to form tight clusters around anchored class-dependent cluster centres in the logit space. We show that training with CAC achieves state-of-the-art open set performance for distance-based open set classifiers on the standard benchmark datasets, with a 2.4% performance increase in AUROC on the challenging TinyImageNet, without sacrificing classification accuracy. We also show that our anchored class centres achieve higher open set performance than learnt class centres, particularly on object-based datasets and large numbers of training classes.

연구 동기 및 목표

• 기존의 개방 집합 분류기가 히스토그램 공간에서 사후 거리 측정에 의존하지만 사전 클러스터링 최적화가 이루어지지 않는 한계를 해결하기 위해.
• 네트워크 훈련 중에 알려진 클래스가 클래스별 앵커 중심 주변에 밀집된 클러스터를 형성하도록 명시적으로 훈련시킴으로써 개방 집합 인식 성능을 향상시키기 위해.
• 고정된 앵커 중심이 개방 집합 인식에서 학습된 클래스 중심보다 우월한가를 조사하기 위해, 특히 객체 기반 데이터셋과 많은 수의 알려진 클래스가 있는 경우에 대해.
• 개방 집합 시나리오에서 알려진 클래스의 검출 능력을 크게 향상시키면서도 고정된 제로샷 분류 정확도를 유지하기 위해.

제안 방법

• 각 샘플의 히스토그램 표현과 고정된 클래스에 따라 달라지는 앵커 중심 사이의 거리를 최소화하는 새로운 거리 기반 손실 함수인 Class Anchor Clustering (CAC)를 도입한다.
• 훈련 중에 동적 클러스터 중심을 학습하는 대신, 알려진 훈련 데이터에서 유도된 사전 정의된 클래스별 앵커 중심을 사용한다.
• 표준 크로스 엔트로피 손실과 함께 CAC 손실을 적용하여 분류 정확도와 내부 클래스의 밀집도를 동시에 최적화한다.
• 알려진 클래스 샘플이 히스토그램 공간에서 각각의 앵커 중심 쪽으로 끌어당겨지도록 하여 밀집된 클러스터 형성을 촉진하고, 알려지지 않은 클래스와의 분리도 향상시킨다.
• 알려진 클래스 클러스터가 알려지지 않은 클래스 샘플의 분포와 분리되도록 마진 기반 제약 조건을 적용한다.
• 표준 크로스 엔트로피 손실과 CAC 손실을 조합하여 네트워크를 훈련시키며, 앵커 중심은 각 클래스의 훈련 샘플 평균 활성도에서 초기화한다.

실험 결과

연구 질문

• RQ1 히스토그램 공간에서 알려진 클래스를 고정된 앵커 중심 주변으로 클러스터링하도록 명시적으로 훈련시키는 것이, 사후 거리 기반 방법에 비해 개방 집합 인식 성능을 향상시킬 수 있는가?
• RQ2 특히 대규모 및 객체 기반 데이터셋에서, 고정된 클래스 앵커 중심을 사용하는 것이 동적 클러스터 중심을 학습하는 것보다 개방 집합 인식에서 더 우수한 성능을 내는가?
• RQ3 CAC 손실이 표준 벤치마크에서 표준 분류 정확도를 떨어뜨리지 않으면서 AUROC에 얼마나 향상시키는가?
• RQ4 알려진 클래스의 수가 증가함에 따라 CAC의 성능은 어떻게 변화하며, TinyImageNet과 같은 도전적인 데이터셋에서 어떻게 나타나는가?

주요 결과

• CAC 손실을 사용한 훈련은 기존 최상의 거리 기반 개방 집합 인식 분류기 대비 TinyImageNet 벤치마크에서 AUROC에 2.4%p의 절대적 향상을 달성한다.
• 고정된 클래스 앵커 중심을 사용할 경우 학습된 클러스터 중심보다 더 높은 개방 집합 인식 성능를 달성하며, 특히 객체 기반 데이터셋과 많은 수의 훈련 클래스가 있는 경우에 두드러진다.
• CAC는 표준 분류 정확도를 유지하면서도 알려지지 않은 클래스를 탐지하는 능력을 크게 향상시킨다.
• CAC의 성능 향상은 도전적인 개방 집합 시나리오에서 가장 두드러지며, 다양한 데이터셋 규모와 클래스 구성에 걸쳐 뛰어난 강건성을 보여준다.