[논문 리뷰] PARN: Position-Aware Relation Networks for Few-Shot Learning

Ziyang Wu, Yuwei Li외 2명|arXiv (Cornell University)|2019. 09. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 7

한 줄 요약

이 논문은 관계 네트워크(RNs)를 향상시키기 위해 변형 가능한 특징 추출기(DFE)와 이중 상관관계 주의 메커니즘(DCA)을 도입한 새로운 소수의 학습 프레임워크인 위치 인식 관계 네트워크(PARN)를 제안한다. 이는 척도 학습에서 공간 인식 능력과 강건성을 향상시킨다. PARN은 Omniglot과 Mini-ImageNet에서 최신 기준 성능(SOTA)을 달성하였으며, Mini-ImageNet에서 5-way 1-shot 정확도가 54.36%이며, Omniglot에서 이전의 5-way 5-shot 결과를 초월하였다.

ABSTRACT

Few-shot learning presents a challenge that a classifier must quickly adapt to new classes that do not appear in the training set, given only a few labeled examples of each new class. This paper proposes a position-aware relation network (PARN) to learn a more flexible and robust metric ability for few-shot learning. Relation networks (RNs), a kind of architectures for relational reasoning, can acquire a deep metric ability for images by just being designed as a simple convolutional neural network (CNN) [23]. However, due to the inherent local connectivity of CNN, the CNN-based relation network (RN) can be sensitive to the spatial position relationship of semantic objects in two compared images. To address this problem, we introduce a deformable feature extractor (DFE) to extract more efficient features, and design a dual correlation attention mechanism (DCA) to deal with its inherent local connectivity. Successfully, our proposed approach extents the potential of RN to be position-aware of semantic objects by introducing only a small number of parameters. We evaluate our approach on two major benchmark datasets, i.e., Omniglot and Mini-Imagenet, and on both of the datasets our approach achieves state-of-the-art performance with the setting of using a shallow feature extraction network. It's worth noting that our 5-way 1-shot result on Omniglot even outperforms the previous 5-way 5-shot results.

연구 동기 및 목표

• 표준 관계 네트워크(RNs)가 컨볼루션 신경망(CNNs)의 국소적 수신 영역으로 인해 공간 위치에 민감하여 소수의 학습에서 제한을 받는 문제를 해결하기 위해.
• 이미지 간의 의미적 객체 위치와 세밀한 특징을 고려함으로써 RN의 척도 학습 능력을 향상시키기 위해.
• 깊은 특징 추출기 의존 없이도 일반화 능력을 향상시킬 수 있는 경량이며 파라미터 효율적인 방법을 설계하기 위해.
• 얕은 특징 추출기만을 사용하여 표준 소수의 학습 벤치마크에서 최신 기준 성능(SOTA)을 달성하기 위해.

제안 방법

• 관련 의미적 객체에 집중하고 배경 노이즈를 줄이기 위해 적응형 샘플링 오프셋을 학습하는 변형 가능한 특징 추출기(DFE)를 도입한다.
• 두 입력 특징 간의 전역 공간적 관계를 크로스 어텐션과 세프 어텐션을 사용하여 모델링하는 이중 상관관계 주의 메커니즘(DCA)을 제안한다.
• 유사도 기반으로 상호 특징 관계를 계산하여 RN 처리 이전의 초보적 비교를 가능하게 하는 크로스 어텐션(CCA)을 사용한다.
• 각 입력 내 특징 간의 내부 의존성을 캡처하고 특징 표현을 개선하기 위해 세프 어텐션(SCA)을 사용한다.
• CCA와 SCA를 DCA에 통합하여 조밀하고 위치 인식 특징 집합을 가능하게 하여 RN이 서로 다른 공간 위치에 있는 특징을 비교할 수 있도록 한다.
• DFE와 DCA가 RN의 공간적으로 이격되거나 세밀한 특징을 처리하는 능력을 향상시키기 위해 단순한 CNN 기반 RN을 메트릭 모듈로 사용한다.

실험 결과

연구 질문

• RQ1 소수의 이미지 비교에서 공간 위치 변화에 더 강건한 관계 네트워크를 만들 수 있는가?
• RQ2 어떻게 어텐션 메커니즘이 공간적으로 정렬되지 않은 특징을 비교하는 데 RN의 능력을 향상시킬 수 있는가?
• RQ3 적절한 어텐션과 특징 추출 설계를 통해 경량이고 얕은 특징 추출기로 최신 기준 성능(SOTA)을 달성할 수 있는가?
• RQ4 변형 가능한 컨볼루션과 이중 어텐션을 도입함으로써 소수의 학습 벤치마크에서 일반화 능력이 향상되는가?

주요 결과

• PARN은 5-way 1-shot Mini-ImageNet 벤치마크에서 54.36%의 정확도를 달성하여 기준 RN보다 3.07%p 높은 성능을 보였다.
• 5-way 5-shot Mini-ImageNet 작업에서 PARN은 70.50%의 정확도를 기록하여 이전의 Omniglot 5-way 1-shot 결과를 초월하였다.
• 제거 실험을 통해 DCA에서 CCA와 SCA를 조합할 경우 성능 향상이 가장 크게 나타났으며, 기준 RN 대비 3.21%p 향상되었다.
• Grad-CAM 시각화 결과, DCA는 이미지 간에 겹치지 않는 관련 의미적 특징에 주의를 기울일 수 있도록 하여 비교의 강건성을 향상시켰다.
• DFE의 효과적 수신 영역(ERF) 시각화 결과, 객체 영역에 적응적으로 집중함을 확인하였으며, 관련 없는 배경 특징을 걸러내는 데 기여하였다.
• DCA를 사용한 학습은 빠른 수렴을 이끌어내어 향상된 학습 역학과 더 나은 특징 표현 학습을 나타내었다.