[논문 리뷰] Multi-scale Adaptive Task Attention Network for Few-Shot Learning

Haoxing Chen, Huaxiong Li외 2명|arXiv (Cornell University)|2020. 11. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 15

한 줄 요약

이 논문은 다중 척도 적응형 작업 주의 네트워크(MATANet)를 제안하며, 이는 다양한 척도에서 가장 분류에 유용한 특징을 동적으로 강조하기 위해 다중 척도 국소 표현과 작업 인식 주의를 동시에 활용함으로써 메트릭 학습을 향상시키는 새로운 소수의 학습 프레임워크이다. MATANet는 ResNet12를 사용하여 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 5-way 1-shot에서 53.63%의 정확도와 5-way 5-shot ImageNet 작업에서 72.67%의 정확도를 기록하였다.

ABSTRACT

The goal of few-shot learning is to classify unseen categories with few labeled samples. Recently, the low-level information metric-learning based methods have achieved satisfying performance, since local representations (LRs) are more consistent between seen and unseen classes. However, most of these methods deal with each category in the support set independently, which is not sufficient to measure the relation between features, especially in a certain task. Moreover, the low-level information-based metric learning method suffers when dominant objects of different scales exist in a complex background. To address these issues, this paper proposes a novel Multi-scale Adaptive Task Attention Network (MATANet) for few-shot learning. Specifically, we first use a multi-scale feature generator to generate multiple features at different scales. Then, an adaptive task attention module is proposed to select the most important LRs among the entire task. Afterwards, a similarity-to-class module and a fusion layer are utilized to calculate a joint multi-scale similarity between the query image and the support set. Extensive experiments on popular benchmarks clearly show the effectiveness of the proposed MATANet compared with state-of-the-art methods.

연구 동기 및 목표

• 모든 국소 특징을 동일하게 취급하는 기존의 국소 표현 기반 방법의 한계를 해결하기 위해, 작업 간의 분류 유용성과 관계없이 모든 국소 특징을 동일하게 취급하는 문제를 해결한다.
• 복잡한 배경에서 주도적 객체의 척도 변화 문제로 인해 성능 저하가 발생하는 문제를 해결한다.
• 각 지원 샘플을 개별적으로 고려하는 대신, 전체 작업 맥락 내에서 특징 간 상호관계를 모델링하여 소수의 분류 성능을 향상시킨다.
• 소수의 레이블 예제로도 더 나은 일반화를 위해, 작업에 관련된 다중 척도 국소 표현을 엔드 투 엔드로 학습할 수 있도록 한다.

제안 방법

• 쿼리 및 지원 이미지에서 다중 공간 척도에서 국소 표현(LRs)을 추출하기 위해 다중 척도 특징 생성기를 사용한다.
• 각 국소 표현에 대해 작업 인식 주의 점수를 계산하는 적응형 작업 주의 모듈을 도입하여, 현재 분류 작업에 가장 관련성이 높은 특징을 강조한다.
• 작업 맥락 내에서 모든 LRs에 대해 쿼리 및 지원 특징 간 유사도를 측정하기 위해 의미 관계 행렬을 구성한다.
• 가중치가 부여된 집계를 통해 다중 척도 유사도를 클래스 수준 예측으로 매핑하는 유사도-클래스 모듈을 구현한다.
• 학습된 주의 가중치에 기반하여 다중 척도 유사도를 융합하는 적응형 융합 레이어를 적용하여 척도 변화에 대한 강건성을 향상시킨다.
• 분류를 위한 교차 엔트로피 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 학습시키며, 주의 메커니즘도 함께 최적화한다.

실험 결과

연구 질문

• RQ1 어떻게 주어진 소수의 학습 작업 내에서 국소 표현의 분류 유용성과 관련된 중요도에 따라 동적으로 가중치를 설정할 수 있는가?
• RQ2 이미지 간 주도적 객체의 척도가 다양할 경우, 다중 척도 특징 표현이 소수의 분류 성능을 얼마나 향상시키는가?
• RQ3 모든 LRs를 동일하게 취급하는 것 대비, 가장 정보가 많은 국소 특징에 집중하는 작업 인식 주의 메커니즘이 성능 향상에 기여할 수 있는가?
• RQ4 단일 척도 또는 균일 가중치 기반 베이스라인에 비해, 다중 척도 특징과 적응형 주의의 통합이 소수의 학습에서 어떻게 성능을 향상시키는가?

주요 결과

• MATANet는 ResNet12를 사용하여 5-way 1-shot mini-ImageNet 벤치마크에서 53.63%의 정확도를 기록하며, 동일한 설정에서 최신 기술 수준(SOTA) 방법을 초월한다.
• 5-way 5-shot 설정에서 MATANet는 ResNet12를 사용하여 72.67%의 정확도를 달성하여, 제한된 지원 샘플로도 강력한 일반화 능력을 보여준다.
• 제거 실험 결과, 적응형 작업 주의 모듈을 제거할 경우 1-shot 작업에서 3.7% 감소하고 5-shot 작업에서 4.8% 감소하여 그 핵심적인 역할을 확인한다.
• 다중 척도 특징 생성기가 기여도가 높으며, 포함된 경우 1-shot 작업에서 1.3% 향상되고 5-shot 작업에서 0.9% 향상된다.
• 유사도-클래스 모듈은 1-shot 작업에서 1.1% 향상되고 5-shot 작업에서 0.8% 향상되어 클래스 수준 집계의 효과성을 검증한다.
• 비교 실험에서 코사인 유사도가 적응형 주의 모듈에서 최적의 거리 함수로 나타나, 유클리드 거리와 Tanimoto 지수를 능가한다.