[논문 리뷰] A Review of Meta-level Learning in the Context of Multi-component, Multi-level Evolving Prediction Systems

Abbas Raza Ali, Marcin Budka외 1명|arXiv (Cornell University)|2020. 07. 17.

Data Stream Mining Techniques참고 문헌 92인용 수 4

한 줄 요약

이 논문은 변화하는 다중 구성요소 및 다중 수준 예측 시스템을 위한 메타수준 학습(Meta-Level Learning, MLL)을 검토하며, 비정상적인 데이터 환경에서 알고리즘 선택 및 시스템 적응을 자동화하기 위한 프레임워크를 제안한다. 메타특성(Meta-features)과 메타지식(Meta-knowledge)을 활용하여 사전 처리, 학습 알고리즘, 개념 이탈 처리 영역에서 지능적이고 실시간 추천을 가능하게 하여 수동 조정과 전문가 간섭에 대한 의존도를 크게 감소시킨다.

ABSTRACT

The exponential growth of volume, variety and velocity of data is raising the need for investigations of automated or semi-automated ways to extract useful patterns from the data. It requires deep expert knowledge and extensive computational resources to find the most appropriate mapping of learning methods for a given problem. It becomes a challenge in the presence of numerous configurations of learning algorithms on massive amounts of data. So there is a need for an intelligent recommendation engine that can advise what is the best learning algorithm for a dataset. The techniques that are commonly used by experts are based on a trial and error approach evaluating and comparing a number of possible solutions against each other, using their prior experience on a specific domain, etc. The trial and error approach combined with the expert's prior knowledge, though computationally and time expensive, have been often shown to work for stationary problems where the processing is usually performed off-line. However, this approach would not normally be feasible to apply to non-stationary problems where streams of data are continuously arriving. Furthermore, in a non-stationary environment, the manual analysis of data and testing of various methods whenever there is a change in the underlying data distribution would be very difficult or simply infeasible. In that scenario and within an on-line predictive system, there are several tasks where Meta-learning can be used to effectively facilitate best recommendations including 1) pre-processing steps, 2) learning algorithms or their combination, 3) adaptivity mechanisms and their parameters, 4) recurring concept extraction, and 5) concept drift detection.

연구 동기 및 목표

• 실시간으로 변화하는 비정상적인 데이터 스트림에 최적의 학습 알고리즘을 선택하는 데 도전 과제를 해결한다.
• 알고리즘 설정에 대한 수동적이고 시행착오적인 접근과 전문가 간섭에 대한 의존도를 감소시킨다.
• 다중 구성요소 및 다중 수준 예측 시스템을 위한 확장 가능한 자동 추천 시스템을 개발한다.
• 개념 이탈과 시스템 성능을 모니터링하는 메타학습 기법을 통해 온라인 적응을 가능하게 한다.
• 다양한 학습 문제 간에 메타지식 표현 및 검색을 위한 통합 프레임워크를 구축한다.

제안 방법

• 기술통계, 정보이론, 랜드마킹, 모델 기반 접근 방식을 사용하여 데이터셋에서 메타특성(MFs)을 추출한다.
• 이전에 적용된 학습 알고리즘의 성능 지표와 메타특성을 연계하여 메타지식(MK) 데이터베이스를 구축한다.
• 기존의 메타지식(MK)을 기반으로 새로운 문제 특성에 가장 적합한 알고리즘을 매핑하기 위해 메타러닝 기반 알고리즘을 사용한다.
• 경량이고 빠른 학습기(프록시)를 사용하여 전체 알고리즘 성능을 예측하기 위해 랜드마킹 기법을 적용한다.
• 결정트리 기반 모델 특성(예: 깊이, 노드 수, 형태, 균일성 등)을 사용하여 구조적 문제 특성을 표현한다.
• 메타특성을 통합된 표현으로 통합하여 변화하는 예측 시스템에서 실시간 의사결정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비정상적인 환경에서 새로운, 미리 보지 못한 데이터셋에 대해 메타수준 학습이 어떻게 최적의 학습 알고리즘을 효과적으로 추천할 수 있는가?
• RQ2 다양한 데이터 유형과 문제 영역에서 학습 알고리즘 성능을 예측하는 데 가장 예측력 있는 메타특성은 무엇인가?
• RQ3 실시간 시스템 적응을 지원하기 위해 메타지식은 어떻게 효율적으로 표현되고 검색될 수 있는가?
• RQ4 메타학습은 변화하는 예측 시스템에서 수동 알고리즘 튜닝과 전문가 간섭을 어떻게 줄일 수 있는가?
• RQ5 랜드마킹과 모델 기반 접근 방식을 비교할 때, 알고리즘 선택에 대한 예측 정확도에서 어떤 방법이 더 우수한가?

주요 결과

• 상관 통계, 엔트로피, 상호정보량, 랜드마킹 성능 등의 메타특성이 알고리즘 선택에 강력한 예측 신호를 제공한다.
• 트리 깊이, 노드 분포, 분지 길이 등의 모델 기반 메타특성은 구조적 복잡성을 효과적으로 포착하고 알고리즘 추천을 안내한다.
• 랜드마킹 접근 방식은 전체 알고리즘 성능을 예측하기 위해 빠른 프록시 학습기를 사용함으로써 계산 비용을 크게 감소시킨다.
• 기술통계, 통계적 지표, 정보이론적 지표, 모델 기반 지표 등 다양한 메타특성 유형의 통합은 메타러너의 강건성과 일반화 능력을 향상시킨다.
• 역사적 성능 데이터에서 구축된 메타지식 데이터베이스는 동적 환경에서 최소 지연 시간으로 정확한 실시간 추천을 가능하게 한다.
• 이 프레임워크는 전문 지식과 수동 튜닝에 대한 의존도를 줄여 다양한 도메인에서 변화하는 예측 시스템의 확장 가능한 구현을 가능하게 한다.