[논문 리뷰] FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers

Haohang Xu, Hongkai Xiong외 1명|arXiv (Cornell University)|2019. 12. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 4

한 줄 요약

FLAT는 기본 카테고리 이미지에 적용된 변환을 자동으로 인코딩하는 새로운 비지도 정규화 방법을 제안하여, 변환 정규화 과정에서 레이블에 의존하지 않고도 새로운 카테고리로의 일반화를 향상시킨다. 이는 miniImageNet과 CUB에서 최고 성능을 기록하며, 교차 데이터셋 평가에서 5-shot 정확도 67.69%를 달성하여 도메인 이동에 대한 강건성을 입증한다.

ABSTRACT

One of the most significant challenges facing a few-shot learning task is the generalizability of the (meta-)model from the base to the novel categories. Most of existing few-shot learning models attempt to address this challenge by either learning the meta-knowledge from multiple simulated tasks on the base categories, or resorting to data augmentation by applying various transformations to training examples. However, the supervised nature of model training in these approaches limits their ability of exploring variations across different categories, thus restricting their cross-category generalizability in modeling novel concepts. To this end, we present a novel regularization mechanism by learning the change of feature representations induced by a distribution of transformations without using the labels of data examples. We expect this regularizer could expand the semantic space of base categories to cover that of novel categories through the transformation of feature representations. It could minimize the risk of overfitting into base categories by inspecting the transformation-augmented variations at the encoded feature level. This results in the proposed FLAT (Few-shot Learning via Autoencoding Transformations) approach by autoencoding the applied transformations. The experiment results show the superior performances to the current state-of-the-art methods in literature.

연구 동기 및 목표

• 기본 카테고리에서 새로운 카테고리로의 일반화를 향상시키기 위해 특성 공간 내에서의 카테고리 간 변동성을 탐색한다.
• 감독된 데이터 증강의 한계를 해결하기 위해, 레이블 의존성과 비현실적인 왜곡으로 인해 일반화가 어려운 문제를 해결한다.
• 기본 카테고리나 새로운 카테고리의 레이블을 사용하지 않고도 변환에 의해 유도된 특성 변동을 학습하는 비지도 정규화 메커니즘을 개발한다.
• 인코딩 수준에서 변환 증강된 특성 변화를 점검함으로써 기본 카테고리에 대한 과적합을 최소화한다.
• 더 강건하고 일반화 능력이 뛰어난 표현을 학습함으로써 데이터셋 간 전이 가능성을 향상시킨다.

제안 방법

• 기본 이미지를 처리하는 하나의 브랜치와 동일 이미지의 무작위로 샘플된 변환을 처리하는 다른 브랜치를 갖는 이중 브랜치 신경망 아키텍처를 사용한다.
• 변환 매개변수에 대한 복원 손실을 사용하여 인코딩된 특징에서 적용된 변환을 복원함으로써, 비지도 방식으로 사전 훈련을 수행한다.
• 변환 증강된 특징을 사용하여 기본 카테고리의 표현 학습을 정규화함으로써, 기본 카테고리의 의미적 공간을 새로운 카테고리의 공간으로 확장한다.
• 표현 인코더는 변환에 의해 유도된 변화에 대해 불변성을 확보하면서도 의미적 구조를 유지하도록 훈련되어 일반화 능력이 향상된다.
• 추론 과정에서, 사전 훈련된 인코더를 사용하여 새로운 카테고리의 소수 예시에 대해 분류기를 피지테이닝한다.
• 기존의 소수 예시 학습 프레임워크와 원활하게 통합되며, 특성 인코더에 대한 자기지도 정규화 기법으로서 기능한다.

실험 결과

연구 질문

• RQ1 비지도 변환 자동인코딩이 소수 예시 학습에서 기본 카테고리에서 새로운 카테고리로의 일반화를 향상시킬 수 있는가?
• RQ2 감독된 데이터 증강과 비교할 때 변환 기반 정규화는 카테고리 간 일반화에서 어떤 성능을 보이는가?
• RQ3 변환 하에 특성 수준의 변화를 점검하는 자기지도 정규화 기법이 기본 카테고리에 대한 과적합을 줄일 수 있는가?
• RQ4 제안된 방법은 도메인 이동이 존재하는 교차 데이터셋 소수 예시 학습 시나리오에서 일반화 능력을 어느 정도 향상시키는가?
• RQ5 변환의 자동인코딩이 기존의 최고 성능 소수 예시 학습 방법보다 더 높은 성능을 내는가?

주요 결과

• FLAT는 miniImageNet에서 CUB로의 교차 데이터셋 평가에서 5-shot 정확도 67.69%를 기록하여 최고의 베이스라인보다 2.1% 높은 성능을 보였다.
• miniImageNet 데이터셋에서 FLAT는 최고 성능 소수 예시 학습 방법들보다 뛰어난 성능을 기록하여 표준 소수 예시 학습 벤치마크에서의 효과성을 입증했다.
• 교차 데이터셋 시나리오에서의 일관된 성능 향상으로 인해 도메인 이동에 대한 강건성이 뛰어나다는 것이 확인되었다.
• 제거 분석 결과, 자동인코딩 정규화 메커니즘이 기본 카테고리의 의미적 특성 공간을 확장시켜 일반화 능력을 크게 향상시킨다는 것이 입증되었다.
• 새로운 클래스 특징에서부터 분류기를 처음부터 피지테이닝하는 경우에도 모델이 잘 일반화됨을 보여, 학습된 표현의 강력함을 입증했다.
• 도메인 내 및 교차 데이터셋 설정 양쪽 모두에서 표준 베이스라인과 MAML, ProtoNet과 같은 고급 메타학습 모델을 모두 능가하는 성능을 기록했다.