[논문 리뷰] TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning

Xin Wang, Fisher Yu외 3명|arXiv (Cornell University)|2019. 04. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 12

한 줄 요약

TAFE-Net는 메타러닝 프레임워크를 도입하여 작업 설명에 기반해 동적으로 이미지 특징을 적응시키는 작업 인식 특징 임베딩(TAFEs)을 생성한다. 메타러너는 특징 레이어에 대한 작업별 가중치를 생성하며, 데이터 생성 없이도 새로운 속성-객체 조합 작업에서 4~15점 향상된 정확도를 달성하여 제로샷 및 패기샷 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Learning good feature embeddings for images often requires substantial training data. As a consequence, in settings where training data is limited (e.g., few-shot and zero-shot learning), we are typically forced to use a generic feature embedding across various tasks. Ideally, we want to construct feature embeddings that are tuned for the given task. In this work, we propose Task-Aware Feature Embedding Networks (TAFE-Nets) to learn how to adapt the image representation to a new task in a meta learning fashion. Our network is composed of a meta learner and a prediction network. Based on a task input, the meta learner generates parameters for the feature layers in the prediction network so that the feature embedding can be accurately adjusted for that task. We show that TAFE-Net is highly effective in generalizing to new tasks or concepts and evaluate the TAFE-Net on a range of benchmarks in zero-shot and few-shot learning. Our model matches or exceeds the state-of-the-art on all tasks. In particular, our approach improves the prediction accuracy of unseen attribute-object pairs by 4 to 15 points on the challenging visual attribute-object composition task.

연구 동기 및 목표

• 일반적인 특징 임베딩이 낮은 샘플 수 학습 환경에서의 한계를 해결하기 위해, 공유 표현이 새로운 또는 드문 작업에 최적화되지 않는 문제를 해결한다.
• 작업별 맞춤형 특징 적응을 가능하게 하되, 작업별 미세조정이나 추가 데이터를 요구하지 않는다.
• 메트릭 러닝을 통한 이미지와 작업의 동시 클러스터링을 통해 다양한 희소한 학습 작업 간 일반화 능력을 향상시킨다.
• 대규모 네트워크의 파라미터 생성 복잡도를 줄이기 위해 작업별 가중치와 공유 가중치를 인수 분해한다.
• 데이터 환영 또는 환영 생성에 의존하지 않고 제로샷 및 패기샷 학습에서 최고 성능을 달성한다.

제안 방법

• 메타러너는 작업 임베딩(예: GloVe에서 유도된 것)을 기반으로 예측 네트워크의 특징 레이어에 대한 작업별 파라미터를 생성한다.
• 파라미터 인수 분해 기법을 사용하여, 저차원의 작업별 가중치와 고차원의 공유 가중치로 파라미터를 분리함으로써 학습 복잡도를 감소시킨다.
• 메트릭 러닝 기반의 임베딩 손실은 이미지 및 작업 표현을 결합하여 유사한 이미지와 작업이 함께 클러스터링되도록 유도한다.
• 모델은 모든 작업에 공통으로 사용하는 분류기로, TAFE를 입력으로 받아 작업에 의존하지 않는 선형 경계를 사용해 결과를 예측한다.
• SGD와 운동량을 사용해 엔드 투 엔드로 학습하며, 학습률 감소와 1회 반복당 100개의 클래스 배치 샘플링을 적용한다.
• 이 방법은 제로샷 및 패기샷 학습 모두에 적용 가능하며, ImageNet 기반 패기샷 벤치마크와 속성-객체 조합을 위한 MITStates에서 평가된다.

실험 결과

연구 질문

• RQ1 메타러닝 프레임워크는 낮은 샘플 수 설정에서 일반 임베딩보다 더 잘 일반화하는 작업 인식 특징 임베딩을 생성할 수 있는가?
• RQ2 낮은 차원의 작업 임베딩에서 파라미터를 생성할 때, 특징 레이어의 파라미터 생성을 효율적이고 확장 가능하게 만들 수 있는가?
• RQ3 이미지와 작업 간의 동시 메트릭 러닝은 새로운 작업에 대한 일반화 능력을 향상시킬 수 있는가?
• RQ4 제안된 파라미터 인수 분해 기법은 성능 유지와 함께 학습 복잡도를 감소시킬 수 있는가?
• RQ5 TAFE-Net은 데이터 증강 또는 환영 생성 없이도 제로샷 및 패기샷 벤치마크에서 최고 성능을 낼 수 있는가?

주요 결과

• TAFE-Net은 데이터 생성 없이도 다섯 개의 표준 제로샷 학습 벤치마크 중 세 곳에서 최고 성능을 기록한다.
• MITStates 데이터셋에서 TAFE-Net은 이전 방법보다 새로운 속성-객체 조합 작업에서 정확도를 4~15점 향상시켰다.
• ImageNet 기반 벤치마크에서의 패기샷 학습에서 TAFE-Net은 Prototypical Networks 및 Matching Networks와 같은 최고 성능 메타러닝 모델과 동등하거나 이를 초월한다.
• n=2 패기샷 예제로 전체 클래스에서 상위 5위 정확도는 61.9%, 신규 클래스에서는 53.9%를 기록했으며, 베이스라인 LogReg를 초월하고 PN 및 MN과 경쟁 수준이다.
• TAFE-Net에 환영 생성기 추가가 가능하며 성능 향상을 더욱 이끌 수 있지만, 시간 제약으로 인해 탐색되지 않았다.
• 제안된 임베딩 손실과 파라미터 인수 분해 기법은 데이터가 적은 환경에서 일반화 능력과 학습 안정성을 크게 향상시켰다.