[논문 리뷰] MSplit LBI: Realizing Feature Selection and Dense Estimation Simultaneously in Few-shot and Zero-shot Learning

Bo Zhao, Xinwei Sun외 3명|arXiv (Cornell University)|2018. 06. 12.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

이 논문은 소수 샘플 및 제로 샘플 학습에서 동시에 특징 선택과 조밀한 추정을 가능하게 하는 새로운 정규화 방법인 MSplit LBI를 제안한다. 이는 특징을 희박한 강한 신호, 밀도 높은 약한 신호, 무작위 노이즈로 분해함으로써 성능을 향상시킨다. L1(Lasso) 및 L2(Ridge) 정규화보다 뛰어나며, Omniglot 및 SUN 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

It is one typical and general topic of learning a good embedding model to efficiently learn the representation coefficients between two spaces/subspaces. To solve this task, $L_{1}$ regularization is widely used for the pursuit of feature selection and avoiding overfitting, and yet the sparse estimation of features in $L_{1}$ regularization may cause the underfitting of training data. $L_{2}$ regularization is also frequently used, but it is a biased estimator. In this paper, we propose the idea that the features consist of three orthogonal parts, \\emph{namely} sparse strong signals, dense weak signals and random noise, in which both strong and weak signals contribute to the fitting of data. To facilitate such novel decomposition, \\emph{MSplit} LBI is for the first time proposed to realize feature selection and dense estimation simultaneously. We provide theoretical and simulational verification that our method exceeds $L_{1}$ and $L_{2}$ regularization, and extensive experimental results show that our method achieves state-of-the-art performance in the few-shot and zero-shot learning.

연구 동기 및 목표

• 소수 샘플 및 제로 샘플 학습에서 L1 및 L2 정규화의 한계를 해결하기 위해, L1은 약한 신호를 忽시하여 과소적합을 유도하고, L2는 편향을 유발하기 때문이다.
• 강한 신호, 약한 신호, 노이즈의 세 가지 수직 성분으로 특징을 모델링하여 동시에 특징 선택과 정확한 데이터 피팅을 수행하는 방법을 개발하기 위해.
• 제안된 MSplit LBI 추정기의 편향이 L2보다 낮고, L1처럼 효과적인 특징 선택을 가능하게 한다는 것을 이론적·실험적으로 검증하기 위해.
• 실세계 데이터셋을 사용하여 소수 샘플 및 제로 샘플 학습 과제에 대해 선형 임bedding 모델에서 MSplit LBI의 효과성을 입증하기 위해.

제안 방법

• MSplit LBI는 새로운 최적화 프레임워크를 사용하여 임베딩 가중치를 세 가지 수직 성분으로 분해한다: 희박한 강한 신호, 밀도 높은 약한 신호, 무작위 노이즈.
• 이 방법은 이중 단계 추정 과정을 사용한다: 첫 번째로 희박한 정규화를 통해 강한 신호를 식별하고, 두 번째로 조밀한 수축을 통해 약한 신호를 추정하며, 모두 수직성을 유지하도록 제약한다.
• 예측 오차를 동시에 최소화하고 세 성분 간의 수직성을 강제하는 정규화된 최적화 문제를 제시한다.
• 비볼록 최적화를 효율적으로 해결하기 위해 수정된 LBI(선형화된 브레그만 반복) 프레임워크를 사용하여 안정적이고 확장 가능한 계산을 가능하게 한다.
• 이 방법은 소수 샘플 및 제로 샘플 학습을 위한 선형 임베딩 모델에 통합되며, 이미지 특징이 레이블 또는 의미 공간으로 매핑된다.
• 이론적 분석을 통해 MSplit LBI 추정기는 L2 정규화보다 편향이 낮고, L1처럼 특징 선택을 지원하여 L1과 L2의 장점을 결합한다.

실험 결과

연구 질문

• RQ1 정규화 방법이 소수 샘플 및 제로 샘플 학습에서 동시에 특징 선택과 조밀한 추정을 달성할 수 있는가?
• RQ2 강한 신호, 약한 신호, 노이즈의 세 가지 수직 성분으로 특징을 모델링하면 기존의 L1 및 L2 정규화를 초월해 일반화 성능을 향상시킬 수 있는가?
• RQ3 제안된 MSplit LBI 추정기는 L2 정규화보다 편향이 적고, 동시에 효과적인 특징 선택을 가능하게 하는가?
• RQ4 MSplit LBI는 소수 샘플 및 제로 샘플 학습 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• Omniglot 데이터셋에서 MSplit LBI는 전체 추정기(β)를 사용해 5-way 1-shot 학습에서 61.47%의 정확도를 기록했으며, Lasso(59.09%) 및 Ridge(59.32%)를 모두 초월했다.
• SUN 데이터셋에서 5-way 1-shot 분류에서 MSplit LBI(β)는 61.47%의 정확도를 기록했으며, 약한 신호를 배제한 변형(β̃)보다 2.15% 향상된 성능을 보였다.
• Omniglot에서 5-way 1-shot 및 5-shot 설정에서 MSplit LBI는 Lasso를 능가했으며, 20-way 1-shot 설정에서는 차원 축소 후 강한 신호의 지배적 영향으로 Ridge가 더 잘 작동하여 성능이 뛰어났다.
• 다양한 소수 샘플 및 제로 샘플 학습 벤치마크에서 MSplit LBI는 강한 신호와 약한 신호를 동시에 모델링함으로써 최신 기준 성능을 달성했다.
• 이론적 분석을 통해 MSplit LBI는 L2 정규화보다 편향이 낮고 특징 선택을 지원함을 확인했으며, L1과 L2의 장점을 결합한다.
• 파라미터 튜닝은 성능 향상에 큰 영향을 주지 않았으며, 일부 경우에서는 성능 저하를 유발하기도 해, 선형 모델에 MSplit LBI를 적용할 경우 파라미터 튜닝 없이도 강건하고 효과적인 성능을 발휘함을 시사한다.