[논문 리뷰] Learning Dynamic Alignment via Meta-filter for Few-shot Learning

Chengming Xu, Chen Liu외 6명|arXiv (Cornell University)|2021. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 16

한 줄 요약

이 논문은 소수의 샘플로 학습하는 경우에 쿼리 특징을 위치별로 특화된 필터 가중치와 채널별로 특화된 필터 가중치를 학습하여 국소적 지원 특징 이웃에서 유연하게 정렬하는 동적 메타필터 메커니즘을 제안한다. 신경적 미분방정식(Neural ODE)을 통한 적응형 연속 정렬과 동적 이웃 샘플링을 융합함으로써, miniImageNet과 tiered-ImageNet에서 최신 기준 성능을 달성하며, 특징 정제를 향상시키고 부작용을 줄여 5-샷 작업에서 최대 1.16% 향상된 정확도를 기록한다.

ABSTRACT

Few-shot learning (FSL), which aims to recognise new classes by adapting the learned knowledge with extremely limited few-shot (support) examples, remains an important open problem in computer vision. Most of the existing methods for feature alignment in few-shot learning only consider image-level or spatial-level alignment while omitting the channel disparity. Our insight is that these methods would lead to poor adaptation with redundant matching, and leveraging channel-wise adjustment is the key to well adapting the learned knowledge to new classes. Therefore, in this paper, we propose to learn a dynamic alignment, which can effectively highlight both query regions and channels according to different local support information. Specifically, this is achieved by first dynamically sampling the neighbourhood of the feature position conditioned on the input few shot, based on which we further predict a both position-dependent and channel-dependent Dynamic Meta-filter. The filter is used to align the query feature with position-specific and channel-specific knowledge. Moreover, we adopt Neural Ordinary Differential Equation (ODE) to enable a more accurate control of the alignment. In such a sense our model is able to better capture fine-grained semantic context of the few-shot example and thus facilitates dynamical knowledge adaptation for few-shot learning. The resulting framework establishes the new state-of-the-arts on major few-shot visual recognition benchmarks, including miniImageNet and tieredImageNet.

연구 동기 및 목표

• 기존의 소수의 샘플 학습 방법이 채널 수준의 격차를 간과하고, 중복 매칭과 유연하지 못한 정렬으로 인해 성능에 악영향을 미치는 문제를 해결하기 위해.
• 국소적 지원 컨텍스트를 기반으로 공간적 및 채널별 중요도를 동적으로 모델링하여 특징 정렬을 향상시키기 위해.
• 신경적 미분방정식을 통해 연속적 제어를 통한 적응형, 작업 인식 정렬을 가능하게 하여 고정 반복 횟수의 반복 정렬 방식을 초월하기 위해.
• 전체 지원 특징을 사용하는 대신 관련성이 높은 국소적 이웃만을 샘플링하여 지원 지식의 중복을 줄이기 위해.
• 소수의 샘플 예제에서 중요한 채널과 주목할 만한 영역에 집중함으로써, 새로운 클래스에 대한 지식 적응 능력을 향상시키기 위해.

제안 방법

• 입력된 소수의 샘플 지원 이미지를 기반으로 각 쿼리 특징 위치 주변의 국소적 이웃을 가중 가능한 오프셋을 사용해 동적으로 샘플링한다.
• 샘플된 이웃에서 위치별로 특화된 필터와 채널별로 특화된 동적 메타필터(DMF)를 예측하여 특징 정렬을 이끌어낸다.
• DMF를 적용하여 쿼리와 지원 특징 간의 적응형, 학습 가능한 특징 정렬을 수행하며, 중요하게 여겨지는 공간 영역과 채널에 초점을 맞춘다.
• 정렬 과정을 연속적 변환으로 모델링하기 위해 신경적 미분방정식(Neural ODE)을 사용하여 시간에 따라 민첩하고 적응형으로 정교화할 수 있도록 한다.
• 표현력과 계산 비용의 균형을 위해 DMF 모듈에 그룹 컨볼루션을 통합하며, 소수의 샘플 설정에 따라 그룹 수를 조정한다(5-샷일 경우 160, 1-샷일 경우 64).
• 공간 해상도를 유지하고 감독 밀도를 향상시키기 위해 전역 풀링 레이어를 제거하여 메타필터 학습을 강화한다.

Figure 1: While position-specific alignment cannot eliminate the negative influence of badly-learned channels, channel-specific one can. CAN denotes Cross Attention Network [ 16 ] which is one of the position-specific alignment models in FSL.

실험 결과

연구 질문

• RQ1 동적이고 위치 및 채널에 특화된 필터링은 정적 또는 공간적 필터링만을 고려하는 기존 방법을 초월하여 소수의 샘플 특징 정렬을 향상시킬 수 있는가?
• RQ2 고정 반복 횟수의 반복 정렬 방식에 비해, 신경적 미분방정식을 통한 적응형 연속 정렬은 일반화 능력과 견고성 측면에서 어떻게 비교되는가?
• RQ3 국소적 이웃 샘플링은 중요한 의미적 컨텍스트를 유지하면서도 지원 지식의 중복을 줄이는가?
• RQ4 지원 특징에 잘 학습되지 않은 채널이 포함된 경우 채널별 주의 기반 정렬이 성능 향상에 얼마나 기여하는가?
• RQ5 다양한 샷 설정(1-샷 대비 5-샷)에서 정보 용량 요구 사항이 다름에 따라 모델은 어떻게 일반화되는가?

주요 결과

• 제안된 방법은 miniImageNet과 tiered-ImageNet에서 새로운 최신 기준 성능을 달성하였으며, 이전 방법 대비 5-샷 작업에서 정확도가 1.16% 향상되었다.
• 전역 풀링 레이어를 제거함으로써 1-샷에서 0.64% 향상되고 5-샷에서 1.16% 향상되었으며, 이는 공간 세부 정보 보존과 더 밀접한 감독의 강화 덕분이었다.
• 정렬에 신경적 미분방정식을 사용한 결과 고정 반복 횟수의 반복 정렬보다 뛰어난 성능을 기록하였으며, 특히 고정 반복 횟수로 인해 정확도가 0.95% 떨어지는 5-샷 작업에서 두드러진 성능 향상을 보였다.
• ODE 기반 정렬을 사용한 모델는 모든 작업에서 모든 베이스라인을 뛰어넘는 일관된 성능을 보이며, 적응형 연속 정교화의 효과를 입증했다.
• DMF 모듈의 그룹 수는 성능에 큰 영향을 미치며, 5-샷에서는 160개, 1-샷에서는 64개가 최적임을 확인하여 샷 수준에 따라 적응형 용량이 필요함을 입증했다.
• 시각화 결과 동적 메타필터가 목표 객체를 성공적으로 강조하고 잡음이나 관련 없는 채널을 억제함을 확인하였으며, CAN 및 정렬되지 않은 베이스라인에 비해 특징 정렬 품질에서 뛰어난 성능을 보였다.

Figure 2: Schematic illustration of our proposed model for 1-shot task. Support and query features are extracted with a backbone network $f_{emb}$ . Then two features are employed to predict an offset map using the local knowledge, which is used to dynamically sample the support feature to collect u