[논문 리뷰] Chameleon: Learning Model Initializations Across Tasks With Different Schemas

Lukas Brinkmeyer, Rafael Rêgo Drumond외 3명|arXiv (Cornell University)|2019. 09. 30.

Machine Learning and Data Classification참고 문헌 41인용 수 5

한 줄 요약

Chameleon는 다양한 특성 스키마를 가진 작업 간에 모델 초기화를 가능하게 하는 새로운 메타러닝 프레임워크를 제안한다. 이는 다양한 입력 표현을 공통의 균일한 특성 공간으로 정렬하기 위해 작업별로 특화된 재정렬 행렬을 학습함으로써 이루어진다. 이 방법은 OpenML-CC18의 23개 데이터셋에서 소수의 샘플로 분류하는 데 최고 성능을 기록하며, 서로 다른 스키마를 가진 비정형 데이터에 대해 데이터셋 간 소수의 샘플 분류를 위한 첫 번째 접근법이다.

ABSTRACT

Parametric models, and particularly neural networks, require weight initialization as a starting point for gradient-based optimization. Recent work shows that a specific initial parameter set can be learned from a population of supervised learning tasks. Using this initial parameter set enables a fast convergence for unseen classes even when only a handful of instances is available (model-agnostic meta-learning). Currently, methods for learning model initializations are limited to a population of tasks sharing the same schema, i.e., the same number, order, type, and semantics of predictor and target variables. In this paper, we address the problem of meta-learning parameter initialization across tasks with different schemas, i.e., if the number of predictors varies across tasks, while they still share some variables. We propose Chameleon, a model that learns to align different predictor schemas to a common representation. In experiments on 23 datasets of the OpenML-CC18 benchmark, we show that Chameleon can successfully learn parameter initializations across tasks with different schemas, presenting, to the best of our knowledge, the first cross-dataset few-shot classification approach for unstructured data.

연구 동기 및 목표

• 모든 작업이 동일한 입력 스키마(같은 수, 순서, 유형의 특성)를 가져야 하는 기존 메타러닝 방법의 한계를 해결한다.
• 특성 스키마가 서로 다른 작업에서 소수의 샘플 분류를 위한 메타러닝을 가능하게 한다.
• 다양한 작업의 입력을 공통의 표현으로 정렬하면서도 특성 간 의미적 일致성을 유지할 수 있는 모델을 개발한다.
• 일부 공통 변수를 공유하는 다양한 스키마가 불일치하는 데이터셋 간에 단일한 메타학습 초기화가 일반화될 수 있음을 입증한다.
• 기존의 고정된 형상 입력(예: 이미지)을 초월해 이질적인 데이터 분포에 대해서도 최적화 기반 메타러닝(예: Reptile)의 적용 가능성을 확장한다.

제안 방법

• 다양한 스키마를 가진 입력을 고정된 공통 입력 공간으로 매핑할 수 있도록 설계된 세트 기반 특성 변환 모델인 Chameleon을 제안한다.
• 입력 특성의 순서에 영향을 받지 않는 표준 스키마에 특화된 재정렬 행렬을 도입하여 특성을 정렬한다.
• 입력 작업의 특성 분포와 의미를 기반으로 재정렬 행렬을 예측하기 위해 신경망을 사용한다.
• 동일한 유형이나 분포를 가진 특성이 공통 공간의 동일한 위치로 매핑되도록 보장하기 위해 대trastive 손실을 사용하여 모델을 훈련한다.
• 정렬된 표현에 표준 메타러닝 알고리즘(예: Reptile)을 적용하여 일반화 가능한 모델 초기화를 학습한다.
• 표현형 데이터와 다양한 신경망에서 유도된 잠재 표현 모두를 지원하여, 시각 작업조차도 스키마에 관계없이 정합이 가능하다.

실험 결과

연구 질문

• RQ1 메타러닝 프레임워크는 다양한 특성 스키마를 가진 작업 간에 견고한 모델 초기화를 학습할 수 있는가?
• RQ2 다양한 작업에서 유도된 입력 표현을 공통의 특성 공간으로 정렬하면서도 의미적 일致성을 유지할 수 있는가?
• RQ3 제안된 정합 메커니즘이 이질적인 표형 데이터셋에서 최고의 소수의 샘플 분류 성능을 달성할 수 있는가?
• RQ4 Chameleon은 원본 데이터가 표형이 아니더라도 다른 모델의 잠재 표현에 대해서도 일반화 가능한가?
• RQ5 Chameleon의 성능는 입력 스키마가 다른 데이터셋에서 표준 메타러닝 베이스라인과 비교해 어떻게 되는가?

주요 결과

• Chameleon은 OpenML-CC18 벤치마크의 23개 데이터셋에서 소수의 샘플 분류 성능이 최고 수준이며, 스키마가 불일치하는 작업에서 표준 메타러닝 베이스라인을 능가한다.
• 다양한 스키마가 불일치하는 데이터셋에서 훈련된 경우, 당뇨병 및 심장병 분류와 같은 작업에서 소수의 샘플 정확도가 크게 향상된다.
• 모음 및 wdbc 데이터셋에서 Chameleon은 학습된 인코딩을 사용하여 각각 0.993 ± 0.010 및 0.937 ± 0.004의 정확도를 기록하며, 무작위 및 고정된 인코더 베이스라인을 모두 능가한다.
• 모델은 제로샷 전이에서도 뛰어난 강건성을 보였다: 새로운 소수의 샘플 작업에서 미세조정한 결과, pendigits 데이터셋에서 0.635 ± 0.017의 정확도를 기록하며 모든 베이스라인을 능가했다.
• 심지어 다른 이미지 네트워크에서 유도된 잠재 표현에 적용하더라도 Chameleon은 표현을 성공적으로 정합하여, 표형 데이터를 초월한 일반화 능력을 입증했다.
• 제거 실험 결과, 학습된 재정렬 행렬이 필수적임을 확인했다: 고정되거나 무작위 인코더를 사용할 경우 모든 데이터셋에서 성능이 크게 떨어졌다.