[논문 리뷰] Revisiting Mid-Level Patterns for Distant-Domain Few-Shot Recognition.

Yixiong Zou, Shanghang Zhang외 3명|arXiv (Cornell University)|2020. 08. 07.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 중위 특징을 재고함으로써 원격 도메인 적인 소수 샘플 학습을 위한 새로운 접근법을 제안하며, 잔차 예측 작업을 도입하여 그들의 분류 가능성을 향상시킨다. 이 방법은 통합된 훈련 프레임워크를 사용하여 도메인 내 및 원격 도메인 설정 모두에서 여섯 개인 공개 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Existing few-shot learning (FSL) methods usually assume known classes and novel classes are from the same domain (in-domain setting). However in practice, it may be infeasible to collect sufficient training samples for some special domains to construct known classes. To solve this problem, cross-domain FSL (CDFSL) is proposed very recently to transfer knowledge from general-domain known classes to special-domain novel classes. Existing CDFSL works mostly focus on transferring between close domains, while rarely consider transferring between distant domains, which is even more challenging. In this paper, we study distant-domain FSL, a challenging subset of CDFSL, by revisiting the mid-level features, which are more transferable yet under-explored in main stream FSL work. To boost the discriminability of mid-level features, we propose a residual-prediction task to encourage mid-level features to learn discriminative information of each sample. Notably, such mechanism also benefits the in-domain FSL. Therefore, we provide two types of features for both distant- and in-domain FSL respectively, under the same training framework. Experiments under both settings on six public datasets, including two challenging medical datasets, validate the rationale of the proposed method and demonstrate state-of-the-art performance.

연구 동기 및 목표

• 기존의 방법이 도메인 이동으로 인해 실패하는 원격 도메인에 속한 알려진 클래스와 새로운 클래스가 존재할 때 소수 샘플 학습의 과제를 해결한다.
• 기존의 교차 도메인 FSL 방법이 오직 가까운 도메인 간 전이에만 초점을 맞추고 있는 한계를 극복하기 위해, 특히 원격 도메인 간 전이에 초점을 맞춘다.
• 높은 전이 가능성에도 불구하고 주류 FSL에서 활용도가 낮은 중위 특징의 분류 능력을 향상시킨다.
• 동일한 학습된 특징을 사용하여 도메인 내 및 원격 도메인 소수 샘플 학습을 모두 지원하는 통합된 훈련 프레임워크를 개발한다.
• 다양한 도메인, 특히 의료 영상에서의 저샷 시나리오에서 중위 특징의 효과를 입증한다.

제안 방법

• 입력 샘플의 잔차 표현을 예측하도록 유도하여 중위 특징의 분류 능력을 향상시키기 위해 잔차 예측 작업을 제안한다.
• 중위 특징 학습과 분류를 동시에 최적화하는 통합된 훈련 프레임워크에 잔차 예측 작업을 통합한다.
• 중위 특징을 소수 샘플 분류의 주요 표현으로 활용하여 도메인 간 전이 가능성을 극대화한다.
• 일반 도메인의 알려진 클래스에서 종합적으로 모델을 훈련하여 특수한(원격의) 도메인에서의 새로운 클래스로의 제로샷 전이를 가능하게 한다.
• 도메인 내 및 원격 도메인 소수 샘플 인식에 동일한 모델과 특징 추출기를 사용하여 일관성과 일반화 능력을 확보한다.
• 의료 영상에 도전적인 두 개의 챌린징 데이터셋 포함 여러 벤치마크에 대해 방법을 적용하여 강건성과 전이 가능성 검증

실험 결과

연구 질문

• RQ1 원격 도메인 전이 설정에서 중위 특징을 효과적으로 활용하여 소수 샘플 일반화 능력을 향상시킬 수 있는가?
• RQ2 잔차 예측 작업을 도입함으로써 중위 특징의 분류 능력이 소수 샘플 학습에서 크게 향상되는가?
• RQ3 통합된 모델 프레임워크가 도메인 내 및 원격 도메인 소수 샘플 학습 모두에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 의료 영상 포함 다양한 데이터셋에서 기존 최신 기술 수준의 접근법과 비교해 본 결과, 제안된 방법은 어떻게 성능을 내는가?
• RQ5 교차 도메인 소수 샘플 시나리오에서 중위 특징이 전역 및 국소 특징보다 우월하거나 보완적인가?

주요 결과

• 제안된 방법은 두 개의 의료 데이터셋 포함 여섯 개인 공개 소수 샘플 학습 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 잔차 예측 작업은 중위 특징의 분류 품질을 크게 향상시켜 소수 샘플 일반화 능력을 향상시킨다.
• 중위 특징은 원격 도메인 간에도 강력한 전이 가능성을 보이며, 전역 또는 국소 표현에만 의존하는 기존 방법들을 능가한다.
• 통합된 훈련 프레임워크는 도메인 내 및 원격 도메인 소수 샘플 학습 모두에서 일관된 성능 향상을 성공적으로 지원한다.
• 의료 영상 응용 분야를 포함한 다양한 도메인에서 강건성과 일반화 능력을 보여준다.
• 제거 실험을 통해 잔차 예측 작업이 특징의 분류 능력 향상과 전체 정확도 향상에 핵심 요소임을 확인한다.