[논문 리뷰] Multi-level Metric Learning for Few-shot Image Recognition

Haoxing Chen, Huaxiong Li외 2명|arXiv (Cornell University)|2021. 03. 21.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 소수의 샘플로 이미지 인식 성능을 향상시키기 위해 픽셀 수준, 부분 수준, 전반적 수준의 특징에서 유사도를 동시에 계산하는 다중 수준 거리 측정(Multi-level Metric Learning, MML) 프레임워크를 제안한다. 작업에 특화된 부분 특징을 얻기 위해 그래프 기반의 부분 수준 임베딩 적응(PEAG) 모듈을 통합하고, 다중 수준 거리 측정을 조합함으로써, miniImageNet(5-way 5-shot 기준 81.41%)과 FC100(5-way 5-shot 기준 59.56%)에서 기존의 단일 수준 거리 측정 방법보다 최대 8.0% 높은 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Few-shot learning is devoted to training a model on few samples. Most of these approaches learn a model based on a pixel-level or global-level feature representation. However, using global features may lose local information, and using pixel-level features may lose the contextual semantics of the image. Moreover, such works can only measure the relations between them on a single level, which is not comprehensive and effective. And if query images can simultaneously be well classified via three distinct level similarity metrics, the query images within a class can be more tightly distributed in a smaller feature space, generating more discriminative feature maps. Motivated by this, we propose a novel Part-level Embedding Adaptation with Graph (PEAG) method to generate task-specific features. Moreover, a Multi-level Metric Learning (MML) method is proposed, which not only calculates the pixel-level similarity but also considers the similarity of part-level features and global-level features. Extensive experiments on popular few-shot image recognition datasets prove the effectiveness of our method compared with the state-of-the-art methods. Our code is available at \url{https://github.com/chenhaoxing/M2L}.

연구 동기 및 목표

• 단일 수준 특징 표현의 한계를 해결하기 위해, 국소적 세부 정보(픽셀 수준)를 상실하거나 전체적 맥락적 의미(전반적 수준)를 놓치는 문제를 해결한다.
• 픽셀, 부분, 전반적 수준에서의 의미적 유사도를 캡처함으로써 분류 성능을 향상시키기 위해 다중 수준 특징 학습을 개선한다.
• 질의 이미지가 클래스 기반 특징 공간 내에서 밀집된 군집을 이룰 수 있도록 보완적인 다중 수준 거리 측정을 활용하는 방법을 개발한다.
• 단일 거리 측정 기반 접근법의 일반화 실패 문제를 해결하기 위해, 다중 수준 유사도 측정을 융합하여 강력한 분류 성능을 확보한다.

제안 방법

• 패치 기반의 부분 수준 특징를 추출하고, 부분 간 상호작용을 모델링하여 작업에 특화된 표현을 생성하기 위해 그래프 컬러이션 네트워크(GCN)를 활용하는 부분 수준 임베딩 적응과 그래프(PEAG)를 제안한다.
• 픽셀 수준(로컬 기술자 기반), 부분 수준(PEAG 특징 기반), 전반적 수준(이미지 수준 임베딩 기반)에서 동시에 유사도 점수를 계산하는 다중 수준 거리 측정(MML) 모듈을 설계한다.
• 학습 가능한 가중치(α, β, γ)를 사용하여 세 유사도 점수를 융합하여 분류를 위한 통합적이고 압축적이며 구분력 있는 특징 공간을 형성한다.
• 다중 수준 유사도의 가중 융합 기반으로 질의 이미지를 분류하기 위한 최소 거리 매칭 모듈을 사용한다.
• 에포크당 200개의 샘플된 작업을 기반으로 모멘타무와 함께 미니배치 SGD 옵티마이저를 사용해 엔드 투 엔드로 모델을 훈련한다. 학습률은 매 10 에포크마다 감소시킨다.
• 소수의 샘플로 작업을 수행하기 전에 MLP를 사용해 ResNet-12 특징 추출기의 사전 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 픽셀 수준, 부분 수준, 전반적 수준의 특징 표현을 융합하면 소수의 샘플로 이미지 인식에서 더 구분력 있고 강건한 특징 임베딩을 얻을 수 있는가?
• RQ2 낮은 데이터 환경에서 단일 수준 거리 측정 대비 다중 수준 거리 측정 학습이 일반화 성능을 향상시키는가?
• RQ3 그래프 기반 모델링을 통해 향상된 부분 수준 특징가 얼마나 유사도 측정 및 분류 정확도 향상에 기여하는가?
• RQ4 각 수준(픽셀, 부분, 전반적)이 최종 성능에 미치는 상대 기여도는 얼마이며, 세 수준의 융합이 최적의 성능을 내는가?
• RQ5 소수의 샘플로 이미지 인식에서 다중 수준 거리 측정의 학습 가능한 융합 메커니즘이 고정 또는 단일 수준의 유사도 함수보다 우수한가?

주요 결과

• MML은 5-way 5-shot 설정에서 miniImageNet 벤치마크에서 81.41%의 정확도를 달성했으며, 프로토타입 네트워크(73.41%)와 DSN-MR(73.41%)보다 각각 8.0%와 8.0% 높은 성능을 보였다.
• FC100에서 MML은 5-way 5-shot 설정에서 59.56%의 정확도를 기록했으며, 이는 이전 최고 기록을 3.5% 초과하여 달성한 것이다.
• 제거 실험 결과, 픽셀, 부분, 전반적 수준 모두가 필수적임을 확인했다. 한 수준만 제거해도 성능 저하가 심각하게 발생했으며, 단일 수준 방법 대비 최대 5.4% 성능이 떨어졌다.
• PEAG 모듈만으로도 miniImageNet(5-way 1-shot)에서 74.27%의 정확도를 달성했으며, FEAT(73.47%)와 GLoFA(72.49%)를 각각 0.8%와 1.8% 뛰어넘었다.
• 최적의 초모수(α, β, γ)는 매우 중요하다. 부적절한 값은 성능 저하를 유도하며, 이는 다중 수준 거리 측정의 균형 잡힌 융합이 필수적임을 시사한다.
• miniImageNet에서 5-way 1-shot 설정에서는 75.28%, 5-way 5-shot 설정에서는 85.95%의 정확도를 기록하여 다양한 샷 설정에서 강력한 일반화 성능을 입증했다.