[논문 리뷰] Meta-Learning: A Survey

Joaquin Vanschoren|TU/e Research Portal|2018. 10. 08.

Machine Learning and Data Classification참고 문헌 8인용 수 197

한 줄 요약

이 설문은 새로운 작업에서 학습 속도를 높이기 위해 작업 간의 이전 경험을 활용하는 메타 학습 접근법을 통합하고 평가, 작업 특성화 및 매개변수 전달을 다룹니다.

ABSTRACT

Meta-learning, or learning to learn, is the science of systematically observing how different machine learning approaches perform on a wide range of learning tasks, and then learning from this experience, or meta-data, to learn new tasks much faster than otherwise possible. Not only does this dramatically speed up and improve the design of machine learning pipelines or neural architectures, it also allows us to replace hand-engineered algorithms with novel approaches learned in a data-driven way. In this chapter, we provide an overview of the state of the art in this fascinating and continuously evolving field.

연구 동기 및 목표

• 메타학습 기법에 대한 조직화된 개요와 다중 작업 간의 사전 경험이 새로운 작업 학습을 안내하는 방법을 제시합니다.
• 메타데이터를 활용하는 유형에 따라 메타학습 방법을 분류하고, 모델 평가에서부터 작업 속성 및 매개변수 전달까지 다룹니다.
• 작업 유사성, 구성 공간 설계, 학습 곡선과 같은 메타학습의 실용적 측면을 논의합니다.
• AutoML, few-shot learning, 그리고 다-task 및 앙상블 학습과 같은 관련 패러다임과의 연결 고리를 강조합니다.
• 메타데이터를 활용한 더 빠르고 데이터 기반 모델 설계를 찾는 데 있어 도전과 잠재적 방향을 식별합니다.

제안 방법

• 메타데이터를 알고리즘 구성, 평가, 모델 매개변수, 그리고 작업 메타특성으로 정의합니다.
• 작업 독립적 권장사항과 구성의 순위를 구축하는 방법을 설명합니다.
• 정보적 기본값과 하이퍼파라미터 중요도를 통해 구성 공간 설계를 설명합니다.
• relative landmarks, surrogate models, 및 warm-started multi-task learning을 사용한 구성 전달 접근법을 제시합니다.
• 학습 곡선과 across-task 정보가 초기 중단 및 진행 예측을 얼마나 빠르게 하는지 조사합니다.
• 구성이나 성능 예측에 유망한 매핑을 하는 메타모델을 제시합니다.
• 작업 메타특성과 공동 표현 학습, 작업 유사성을 위한 시암 네트워크를 포함합니다.
• 유사한 작업 및 메타데이터를 이용한 최적화의 워밍업을 위한 다양한 전략을 탐구합니다.

실험 결과

연구 질문

• RQ1 이전 작업의 메타데이터를 활용하여 새로운 작업에 대한 구성 추천이나 워밍업을 할 수 있는 방법은 무엇인가?
• RQ2 평가, 학습 곡선 또는 메타특성을 사용하여 작업 유사성을 측정하는 효과적인 방법은 무엇인가?
• RQ3 대상 관련 작업 간 전달을 촉진하기 위해 대체 모델, 상대적 랜드마크 및 다중 작업 학습은 어떻게 작용하는가?
• RQ4 학습 곡선과 기본 하이퍼파라미터가 더 빠른 최적화를 위한 메타학습에서 어떤 역할을 하는가?
• RQ5 어떤 메타모델이 이질적인 작업 간 성능을 예측하거나 구성의 순위를 매기는 데 가장 효과적인가?

주요 결과

• 메타학습은 이전 평가, 메타특성, 학습 곡선을 활용하여 작업 간 검색 효율을 개선할 수 있다.
• 작업 유사성은 상대적 랜드마크, 대리 예측 또는 학습된 메타 표현으로 측정되어 최적화를 안내할 수 있다.
• 검색 공간 설계 및 효과적인 기본값 식별을 위한 여러 전략이 AutoML 시스템의 속도를 높인다.
• 유사한 작업의 정보를 사용한 베이지안 최적화 및 다른 옵티마이저의 워밍스타트는 수렴 속도를 가속한다.
• 성능을 예측하거나 구성을 순위 매기는 메타모델은 여러 작업에서 더 빠른 가지치기와 더 스마트한 구성 선택을 가능하게 한다.