[논문 리뷰] Few-Shot Learning by Integrating Spatial and Frequency Representation

Xiangyu Chen, Guanghui Wang|arXiv (Cornell University)|2021. 05. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 4

한 줄 요약

이 논문은 소수의 예시만 있는 이미지 분류 성능을 햖을 수 있도록 이산余弦변환(DCT) 전처리를 통해 공간 도메인과 주파수 도메인 표현을 통합하는 방법을 제안한다. CNN 기반 모델을 사용해 두 도메인의 특징을 융합함으로써, 5-way 1-shot miniImageNet에서 최대 62.30%의 정확도 향상을 달성하였으며, 주파수 정보가 공간 특징과 보완되어 모델의 분류 능력을 향상시킴을 입증하였다.

ABSTRACT

Human beings can recognize new objects with only a few labeled examples, however, few-shot learning remains a challenging problem for machine learning systems. Most previous algorithms in few-shot learning only utilize spatial information of the images. In this paper, we propose to integrate the frequency information into the learning model to boost the discrimination ability of the system. We employ Discrete Cosine Transformation (DCT) to generate the frequency representation, then, integrate the features from both the spatial domain and frequency domain for classification. The proposed strategy and its effectiveness are validated with different backbones, datasets, and algorithms. Extensive experiments demonstrate that the frequency information is complementary to the spatial representations in few-shot classification. The classification accuracy is boosted significantly by integrating features from both the spatial and frequency domains in different few-shot learning tasks.

연구 동기 및 목표

• 의료 영상과 같이 레이블이 부족한 도메인에서 소수의 예시만 있는 이미지 분류 과제를 해결하고자 한다.
• 기존의 소수의 예시 학습 모델이 공간 이미지 특징에만 의존하는 한계를 극복하고자 한다.
• DCT를 통해 유도된 주파수 도메인 표현이 특징의 분류 능력 향상과 모델의 일반화 능력 향상에 기여할 수 있는지 조사하고자 한다.
• 다양한 백본, 데이터셋, 소수의 예시 학습 프로토콜에서 공간 및 주파수 특징 융합의 효과를 입증하고자 한다.

제안 방법

• 입력 이미지에 이산余弦변환(DCT)을 적용하여 CNN 기반 모델에 입력하기 전에 주파수 도메인 표현을 생성한다.
• 두 개의 병렬 CNN 브랜치를 사용한다: 하나는 원본 공간 도메인 이미지를 처리하는 CNN(s), 다른 하나는 DCT 변환된 주파수 도메인 특징을 처리하는 CNN(f).
• 두 브랜치에서 유도된 특징 임베딩(공간 및 주파수)을 연결하여 분류를 위한 통합 표현을 형성한다.
• 정적 채널 선택 기법을 주파수 도메인에 적용하여 저주파 성분에 집중함으로써 계산 비용을 줄이고도 분류에 유의미한 정보를 유지한다.
• 기존의 소수의 예시 학습 프레임워크(예: baseline++)에 DCT 기반 주파수 모듈을 플러그인 형태로 통합한다.
• t-SNE 시각화를 활용해 공간 특징만 사용하는 모델과 공간-주파수 특징 융합 모델 간의 특징 군집 품질을 비교한다.

실험 결과

연구 질문

• RQ1 DCT를 통해 추출한 주파수 도메인 표현을 공간 특징과 융합할 경우 소수의 예시 분류 성능 향상에 기여하는가?
• RQ2 DCT 필터의 크기가 소수의 예시 학습 과제에서 정확도에 미치는 영향은 어떠한가?
• RQ3 공간 특징과 주파수 특징을 융합하는 것이 공간 특징만 사용할 경우보다 더 나은 특징 군집화와 일반화 능력을 제공하는가?
• RQ4 다양한 백본 아키텍처(예: ResNet10, ResNet18, ResNet34)와 소수의 예시 학습 벤치마크에서 제안된 방법의 견고성은 어떠한가?
• RQ5 데이터 증강과 주파수 도메인 융합 중 어느 요소가 모델 정확도 향상에 더 큰 기여를 하는가?

주요 결과

• 공간 및 주파수 특징을 융합한 제안된 방법은 ResNet10 기반으로 5-way 1-shot miniImageNet 벤치마크에서 62.30%의 정확도를 달성하여, 기준 모델 baseline++(s)보다 4.78%p 높은 성능을 기록하였다.
• 5-way 5-shot 과제에서 ResNet10 기반으로 79.93%의 정확도를 기록하였으며, 공간 특징 전용 기준 모델 대비 4.37%p 향상되었다.
• 주파수 특징 전용 브랜치(CNN(f))는 모든 백본 및 과제에서 공간 특징 전용 기준 모델을 일관되게 초월하여, 주파수 특징 자체만으로도 의미 있는 분류 능력이 있음을 시사한다.
• 두 도메인을 융합한 결과가 가장 높은 성능 향상을 기록하였으며, 다양한 백본에서 공간 특징 전용 기준 모델 대비 4.37%에서 5.75%까지의 정확도 향상이 관찰되었다.
• 정적 채널 선택 기법을 사용할 경우 DCT 필터 크기가 성능에 미치는 영향이 미미하여, 작은 필터 크기(예: 8×8)만으로도 효과적인 특징 추출이 가능함을 시사한다.
• t-SNE 시각화 결과, 융합 모델이 더 조밀하고 잘 분리된 특징 군집을 생성하는 것으로 확인되어, 향상된 특징 분류 능력과 일반화 능력을 가짐을 입증하였다.