[논문 리뷰] Learning to Affiliate: Mutual Centralized Learning for Few-shot Classification

Yang Liu, Weifeng Zhang외 4명|arXiv (Cornell University)|2021. 06. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 9

한 줄 요약

이 논문은 마르코프 과정에서 이중 방향 랜덤 워크를 통해 쿼리 및 서포트 특징 집합 간의 상호 소속 관계를 모델링하는 이중 방향 프레임워크인 상호 중심 학습(MCL)을 제안한다. 조밀한 특징의 가용성(접근성)을 중심성 점수로 측정함으로써 MCL은 최소한의 계산 부담으로 소수 샘플 분류 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Few-shot learning (FSL) aims to learn a classifier that can be easily adapted to accommodate new tasks not seen during training, given only a few examples. To handle the limited-data problem in few-shot regimes, recent methods tend to collectively use a set of local features to densely represent an image instead of using a mixed global feature. They generally explore a unidirectional query-to-support paradigm in FSL, e.g., find the nearest/optimal support feature for each query feature and aggregate these local matches for a joint classification. In this paper, we propose a new method Mutual Centralized Learning (MCL) to fully affiliate the two disjoint sets of dense features in a bidirectional paradigm. We associate each local feature with a particle that can bidirectionally random walk in a discrete feature space by the affiliations. To estimate the class probability, we propose the features' accessibility that measures the expected number of visits to the support features of that class in a Markov process. We relate our method to learning a centrality on an affiliation network and demonstrate its capability to be plugged in existing methods by highlighting centralized local features. Experiments show that our method achieves the state-of-the-art on both miniImageNet and tieredImageNet.

연구 동기 및 목표

• 소수 샘플 학습에서 단방향 특징 매칭의 한계를 해결하기 위해 쿼리 및 서포트 특징 간의 상호 소속 관계를 모델링한다.
• 마르코프 과정을 기반으로 한 새로운 조밀한 특징 접근성 지표를 제안하여 클래스 확률을 추정한다.
• 조직화된 방법(예: 레이블 전파)이 조밀한 특징을 비라벨 데이터로 간주함으로써 유도적 소수 샘플 학습 설정에 적절히 적용될 수 있음을 보여준다.
• 제안된 중심성 측정법이 소속 네트워크에서 단일 모드 고유벡터 중심성과 동일함을 입증하고, 이를 통해 기존 모델에 즉각 통합할 수 있음을 보여준다.
• 기존의 효율적인 추론을 유지하면서도 표준 소수 샘플 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

제안 방법

• 이산 특징 공간에서 쿼리 및 서포트 특징 집합 간에 이중 방향 랜덤 워크를 수행하는 입자를 각 국소 특징에 연결한다.
• 시간 동질성 마르코프 과정에서 특정 클래스의 특징에 대한 방문 횟수의 기대값을 예측 확률로 정의하며, 이를 '조밀한 특징 접근성'이라 칭한다.
• 랜덤 워크의 정적 분포를 효율적으로 계산하기 위해 카츠 근사법을 사용하여 시간 복잡도를 블록별 행렬 역행렬을 통해 O(r³)로 감소시킨다.
• 이중 특징 집합을 소속 네트워크로 모델링하고, 접근성 측정법이 단일 모드 고유벡터 중심성과 일치함을 보여준다.
• 전역 평균 풀링을 작업 중심의 국소 특징으로 대체함으로써 MCL 중심성을 전역 특징 기반 모델(예: ProtoNet, RelationNet)에 플러그인 방식으로 통합한다.
• Grad-CAM 시각화를 적용하여 MCL이 의미적으로 관련 있는 영역에 집중하고, 서포트 및 쿼리 특징 간의 상호 정렬을 촉진함을 정성적으로 검증한다.

실험 결과

연구 질문

• RQ1 쿼리 및 서포트 집합 간의 이중 방향 특징 소속 관계가 단방향 매칭 기반 기법을 초월해 소수 샘플 분류 성능을 향상시킬 수 있는가?
• RQ2 마르코프 과정에서 특정 클래스의 특징에 대한 방문 횟수의 기대값을 측정함으로써 더 강건하고 일반화 가능한 분류 점수를 얻을 수 있는가?
• RQ3 조직화된 레이블 전파 방법이 조밀한 특징을 비라벨 데이터로 간주함으로써 유도적 소수 샘플 학습 설정에 효과적으로 적용될 수 있는가?
• RQ4 제안된 조밀한 특징 접근성 측정법이 알려진 네트워크 중심성 측정법과 동일한가? 그리고 이러한 동치성은 이론적 기반과 모델 통합을 가능하게 하는가?
• RQ5 MCL 프레임워크는 효율적으로 구현될 수 있으며, 상당한 계산 비용 없이 최신 기술 성능(SOTA)을 달성할 수 있는가?

주요 결과

• MCL은 기존의 조밀한 특징 기반 방법(예: DN4, DeepEMD, FRN)을 초월하여 표준 소수 샘플 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.
• α=0.5인 MCL-Katz 근사법은 12×12 특징 맵을 사용한 5-way 1-shot 태스크에서 에피소드당 29.10ms의 저비용 추론 시간을 기록하여 이중 방향 계산에도 불구하고 낮은 추론 오버헤드를 입증한다.
• 특수 구조(I - αP)의 블록별 행렬 역행렬을 통해 시간 복잡도를 O(r³)로 감소시켜 효율적인 계산을 가능하게 한다.
• Grad-CAM 시각화 결과 MCL이 의미적으로 관련 있는 영역에 집중하고, 서포트 및 쿼리 특징 간의 상호 정렬을 촉진함을 확인한다.
• 실험 결과 이중 방향 워크를 통한 상호 소속 관계 도입이 단방향 기반 모델보다 성능 향상을 이끌어내며, 추론 분석을 통한 이중 방향 기반의 유의미한 기여를 확인할 수 있다.
• 이 방법은 ProtoNet과 같이 기존의 전역 특징 기반 모델에 쉽게 플러그인할 수 있으며, 전역 평균 풀링을 작업 중심의 국소 특징으로 대체함으로써 성능 향상을 이룬다.