[논문 리뷰] GistNet: a Geometric Structure Transfer Network for Long-Tailed Recognition

Bo Liu, Haoxiang Li외 3명|arXiv (Cornell University)|2021. 05. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 4

한 줄 요약

GistNet는 클래스 기하학적 구조를 고사례 수 클래스에서 소사례 수 클래스로 전이함으로써 장꼬리 인식을 위한 기하학적 구조 전이 프레임워크를 제안한다. 이는 클래스별 중심과 공유 이동 벡터를 사용하는 새로운 분류기 아키텍처를 통해 인기 클래스에 대한 과적합을 활용함으로써 이루어지며, 클래스 기하학을 인코딩한다. GIST 학습 알고리즘은 클래스 균형 잡힌 샘플링과 무작위 샘플링을 조합하여 고사례 수 클래스에서 소사례 수 클래스로 기하학적 구조를 전이하며, 수동적 클래스 가중치 조정이나 명시적 클래스 그룹화 없이 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The problem of long-tailed recognition, where the number of examples per class is highly unbalanced, is considered. It is hypothesized that the well known tendency of standard classifier training to overfit to popular classes can be exploited for effective transfer learning. Rather than eliminating this overfitting, e.g. by adopting popular class-balanced sampling methods, the learning algorithm should instead leverage this overfitting to transfer geometric information from popular to low-shot classes. A new classifier architecture, GistNet, is proposed to support this goal, using constellations of classifier parameters to encode the class geometry. A new learning algorithm is then proposed for GeometrIc Structure Transfer (GIST), with resort to a combination of loss functions that combine class-balanced and random sampling to guarantee that, while overfitting to the popular classes is restricted to geometric parameters, it is leveraged to transfer class geometry from popular to few-shot classes. This enables better generalization for few-shot classes without the need for the manual specification of class weights, or even the explicit grouping of classes into different types. Experiments on two popular long-tailed recognition datasets show that GistNet outperforms existing solutions to this problem.

연구 동기 및 목표

• 과적합을 억제하는 대신 고사례 수 클래스에서 소사례 수 클래스로 기하학적 구조를 전이하여 장꼬리 인식 문제를 해결한다.
• 장꼬리 데이터 분포 하에서 딥 분류기 학습 시 수동적 클래스 가중치 조정이나 히우리스틱 조리법의 필요성을 제거한다.
• 표준 학습의 잠재적 과적합 경향을 자연스럽게 활용하여 소사례 수 클래스의 일반화 성능을 향상시키는 데이터 기반 방법을 개발한다.
• 클래스 기하학을 클래스별 중심과 공유 이동 벡터를 포함한 매개변수의 '성운'으로 명시적으로 모델링하는 분류기 아키텍처를 설계한다.

제안 방법

• GistNet는 클래스별 중심과 공유 이동 벡터를 사용하는 분류기 아키텍처를 활용하여 클래스 기하학을 인코딩하며, 이는 매개변수의 '성운'을 형성한다.
• 모델은 클래스 균형 잡힌 샘플링을 통해 중심을 학습하고, 무작위 샘플링을 통해 이동 벡터를 학습하는 하이브리드 학습 전략을 적용한다.
• 기하학적 구조 전이(GIST) 손실은 교차 엔트로피와 기하학적 정규화를 조합하여, 공유 이동 벡터가 잘 학습된 다수의 사례 수 클래스의 자연스러운 기하학을 이어받도록 유도한다.
• 이동 벡터는 무작위 샘플링을 통해 학습되며, 이는 표준 분류기가 인기 클래스에 과적합하는 경향을 활용하여 기하학적 구조를 소사례 수 클래스로 전이할 수 있도록 한다.
• 중심 학습(클래스별)과 기하학 학습(공유)을 분리하기 위해 이중 샘플링 전략을 활용함으로써 명시적 클래스 가중치 조정이 필요 없도록 한다.
• 매개변수 성운은 $ \mathbf{w}_{kj} = \mathbf{w}_k + \delta_j $ 로 정의되며, 여기서 $ \mathbf{w}_k $ 는 클래스 중심이고 $ \delta_j $ 는 공유 이동 벡터이며, 이는 클래스 빈도에 영향을 받지 않는 기하학적 구조를 형성한다.

Figure 1: Left: in long-tailed recognition, the small number of samples from medium- and few-shot classes make it difficult to learn their geometry, leading to inaccurate class boundaries. This is unlike many-shot classes, whose natural geometry can usually be learned. Middle: the boundaries are cor

실험 결과

연구 질문

• RQ1 표준 학습에서 인기 클래스에 대한 과적합을 억제하는 대신 이를 활용하여 소사례 수 일반화 성능을 향상시킬 수 있는가?
• RQ2 잘 학습된 다수의 사례 수 클래스의 기하학적 구조를 수동적 클래스 가중치 조정 없이 효과적으로 소사례 수 클래스로 전이할 수 있는가?
• RQ3 공유 이동 벡터 표현 방식이 표준 분류기보다 소사례 수 클래스의 일반화 성능을 더 잘 향상시키는가?
• RQ4 GistNet 아키텍처는 이동 벡터의 수나 그 기능 형태의 변화에 대해 얼마나 강건한가?

주요 결과

• GistNet는 두 개의 장꼬리 인식 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 수동적 클래스 가중치 조정 없이도 기존 방법들을 능가한다.
• 절단 분석 결과, 클래스 균형 잡힌 샘플링과 무작위 샘플링을 모두 사용하는 것이 핵심임을 확인: 무작위 샘플링 손실을 제거하면 중심이 다수의 사례 수 데이터에 과적합되어 소사례 수 성능이 떨어진다 (COS+CS+GIST).
• 매개변수 성운에 대해 회전 또는 학습된 함수 $ g $ 를 사용하는 것은 단순한 덧셈에 비해 성능 향상이 미미하여, 기하학적 제약 조건이 실행 방식의 세부 사항보다 더 중요함을 시사한다.
• 최적의 이동 벡터 수 $ m $ 는 4이며, 소사례 수 클래스의 성능은 $ m=8 $ 에서 포화 또는 略도 향상됨을 보여, 기하학적 전이가 저자원 클래스에 가장 유익함을 시사한다.
• t-SNE 시각화 결과, GistNet은 기준 모델 대비 더 잘 분리되고 일관성 있는 클래스 경계를 생성함을 확인하였으며, 특히 소사례 수 클래스에서 두드러진다.
• 추론 분석 결과, 테스트 샘플의 최소 10% 이상에서 79.2%의 클래스가 모든 네 개의 이동 벡터를 사용함을 확인하여, 모델이 단일 성운으로 붕괴되지 않음을 입증한다.

Figure 2: GistNet approximates the shared geometry by a constellation (mixture) of spherical Gaussians.