[논문 리뷰] Weakly-supervised Compositional FeatureAggregation for Few-shot Recognition

Ping Hu, Ximeng Sun외 2명|arXiv (Cornell University)|2019. 06. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 23

한 줄 요약

이 논문은 복합적 특징 집약(CFA) 모듈을 제안한다. 이는 약한 지도 학습 기반으로, 플러그-앤플레이 방식의 구성 요소로, 깊이 학습된 특징에서 의미적 및 공간적 복합성을 강제하여 소수의 샘플로도 인식 성능을 향상시킨다. 특징 맵을 독립적인 의미적 하위공간으로 분리하고 각 하위공간 내에서 이차적 집약을 적용함으로써 일반화 성능을 향상시키며, 속성 또는 부분 레이블이 필요로 하지 않으며, 이미지 및 동작 인식 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning from a few examples is a challenging task for machine learning. While recent progress has been made for this problem, most of the existing methods ignore the compositionality in visual concept representation (e.g. objects are built from parts or composed of semantic attributes), which is key to the human ability to easily learn from a small number of examples. To enhance the few-shot learning models with compositionality, in this paper we present the simple yet powerful Compositional Feature Aggregation (CFA) module as a weakly-supervised regularization for deep networks. Given the deep feature maps extracted from the input, our CFA module first disentangles the feature space into disjoint semantic subspaces that model different attributes, and then bilinearly aggregates the local features within each of these subspaces. CFA explicitly regularizes the representation with both semantic and spatial compositionality to produce discriminative representations for few-shot recognition tasks. Moreover, our method does not need any supervision for attributes and object parts during training, thus can be conveniently plugged into existing models for end-to-end optimization while keeping the model size and computation cost nearly the same. Extensive experiments on few-shot image classification and action recognition tasks demonstrate that our method provides substantial improvements over recent state-of-the-art methods.

연구 동기 및 목표

• 인간이 부분과 속성을 사용해 시각적 개념을 복합적으로 모델링하는 방식과 유사하게, 부분과 속성을 활용해 소수의 샘플로도 인식 성능을 향상시키는 것.
• 기존 방법들이 풀링으로 인해 공간적 또는 의미적 구조를 상실하거나, 고비용의 속성 레이블을 요구하는 한계를 해결하는 것.
• 약한 지도 학습 기반의 복합성 정규화를 적용할 수 있는 플러그-앤플레이 모듈을 개발하는 것.
• 모델 크기나 계산 비용을 증가시키지 않으면서도 엔드 투 엔드 학습이 가능하도록 하는 것.
• 일반적인 분류와 미세한 분류 작업, 특히 동작 인식을 포함한 다양한 소수의 샘플 분류 작업에 대해 효과성을 검증하는 것.

제안 방법

• CFA 모듈은 특징 공간을 N개의 상호배타적인 의미적 하위공간으로 분리하여 다양한 속성 또는 부분을 모델링한다.
• 각 하위공간 내에서 이차 집약을 적용하여 이차 통계량을 추출하고 공간적 구조를 포착하며, 단순 평균/최댓값 풀링을 대체한다.
• 의미적 프로토타입 간의 구별성을 유도하기 위해 손실 함수에 직교 제약 조건을 도입한다.
• 최종 기술자는 모든 하위공간의 집약된 특징을 연결하여 구분력 있고 복합적인 표현을 생성한다.
• 모듈은 속성 또는 부분 레이블이 필요 없이 엔드 투 엔드로 학습되며, 이는 약한 지도 학습을 의미한다.
• CFA는 기존 모델과 호환되는 플러그인 레이어로 설계되어 모델 크기와 추론 비용을 유지한다.

실험 결과

연구 질문

• RQ1 깊이 학습된 특징에서 의미적 및 공간적 복합성을 강제하면 소수의 샘플로도 인식 성능이 향상되는가?
• RQ2 속성 또는 부분 레이블 없이도 복합성이 효과적으로 학습될 수 있는가?
• RQ3 의미적 하위공간의 수(N)가 다양한 데이터셋에서 성능에 미치는 영향은 어떠한가?
• RQ4 제안된 CFA 모듈은 일반 분류에서 미세한 분류로의 도메인 간 전이에 잘 일반화되는가?
• RQ5 직교 정규화 가중치(γ)가 내부 클래스 및 외부 클래스 분산이 다양한 데이터셋에서 표현 품질에 미치는 영향은 어떠한가?

주요 결과

• miniImageNet에서 CFA(N=64)는 1-shot 설정에서 44.2%의 정확도를 기록하며, 이는 이전 최고 성능 기준을 초월한다.
• CUB 데이터셋에서 CFA(N=64)는 5-shot 설정에서 66.0%의 정확도를 달성하여 미세한 분류 작업에서 뛰어난 성능을 보였다.
• 동작 인식 작업에서는 Jester에서 CFA(N=64)가 1-shot 설정에서 23.9%의 정확도를 기록하여 영상 처리 작업에서의 효과성을 입증했다.
• 제거 실험 결과, 의미적 하위공간 내 이차 집약(CFA, N=64)은 단순 풀링(CFA, N=1)보다 뚜렷이 뛰어난 성능을 보였으며, 특히 1-shot 학습에서 두드러졌다.
• 도메인 간 전이 결과에서 CFA는 베이스라인보다 더 잘 일반화됨을 보였다: IMN→CUB 전이에서 CFA(N=64)는 44.2%의 정확도를 기록했고, MatchingNet은 37.4%였다.
• 최적의 하위공간 수(N)는 데이터셋에 따라 달라진다: CUB에서는 N=64, Jester에서는 N=4일 때 성능이 최고로 나타나, 데이터셋에 맞는 최적의 속성 그룹화가 필요함을 시사한다.