[논문 리뷰] Active Learning with Multiple Kernels

Song‐Nam Hong, Jeongmin Chae|arXiv (Cornell University)|2020. 05. 07.

Machine Learning and Algorithms참고 문헌 33인용 수 4

한 줄 요약

이 논문은 레이블 비용을 줄이기 위해 어떤 데이터를 레이블링할지 지능적으로 선택함으로써 레이블 비용을 크게 감소시키는 스트림 기반 온라인 다중 커널 학습을 위한 활성 다중 커널 학습(AMKL)을 제안한다. $\mathcal{O}(\sqrt{T})$ 의 최적의 하위선형 위험도를 증명함으로써, AMKL은 성능 손실를 최소화하면서도 레이블 요청을 극도로 줄이며, 추가로 실시간으로 관련 없는 커널을 제거함으로써 효율성과 정확도를 향상시키는 적응형 커널 선택 기반 AMKL-AKS를 도입한다.

ABSTRACT

Online multiple kernel learning (OMKL) has provided an attractive performance in nonlinear function learning tasks. Leveraging a random feature approximation, the major drawback of OMKL, known as the curse of dimensionality, has been recently alleviated. In this paper, we introduce a new research problem, termed (stream-based) active multiple kernel learning (AMKL), in which a learner is allowed to label selected data from an oracle according to a selection criterion. This is necessary in many real-world applications as acquiring true labels is costly or time-consuming. We prove that AMKL achieves an optimal sublinear regret, implying that the proposed selection criterion indeed avoids unuseful label-requests. Furthermore, we propose AMKL with an adaptive kernel selection (AMKL-AKS) in which irrelevant kernels can be excluded from a kernel dictionary 'on the fly'. This approach can improve the efficiency of active learning as well as the accuracy of a function approximation. Via numerical tests with various real datasets, it is demonstrated that AMKL-AKS yields a similar or better performance than the best-known OMKL, with a smaller number of labeled data.

연구 동기 및 목표

• 전문가가 레이블링한 데이터가 희귀하고 비용이 많이 드는 실세계 기계학습 응용 분야에서의 높은 레이블 비용 문제를 해결하기 위해.
• 불필요한 레이블 요청을 최소화하는 온라인 다중 커널 학습(OMKL)을 위한 스트림 기반 활성 학습 프레임워크를 개발하기 위해.
• 제안된 선택 기준이 최적의 하위선형 위험도를 달성하여, 완전히 레이블링된 OMKL에 비해 성능이 거의 손상되지 않음을 보장하기 위해.
• 학습 도중 관련 없는 커널을 동적으로 제거함으로써 효율성과 정확도를 향상시키는 적응형 커널 선택(AMKL-AKS)을 도입하기 위해.

제안 방법

• 온라인 다중 커널 학습(OMKL)의 스트림 기반 활성 학습 확장인 활성 다중 커널 학습(AMKL)을 제안하며, 학습자는 신뢰도 기반 기준에 따라 도착하는 데이터 중 어떤 것을 레이블링할지를 선택한다.
• 미레이블링된 데이터에 대한 손실을 파rameter $\eta_c$ 로 제한하는 선택 기준을 도입하여, 레이블을 생략해도 성능 저하가 통제된 범위 내에서만 발생함을 보장한다.
• OMKL에서의 차원의 저주 문제를 완화하기 위해 무작위 특징 근사법을 활용하여, 저차원 공간에서의 효율적인 온라인 최적화를 가능하게 한다.
• 누적 손실 기반으로 사전 정의된 커널 집합에서 관련 없는 커널을 제거하는 적응형 커널 선택 메커니즘인 AMKL-AKS를 개발하여 속도와 정확도를 모두 향상시킨다.
• 온라인 볼록 최적화 기법과 위험 분석을 활용하여, $\eta_c = \mathcal{O}(1/\sqrt{T})$ 일 때 AMKL이 $\mathcal{O}(\sqrt{T})$ 의 하위선형 위험도를 달성함을 증명한다.
• 삼각 부등식과 손실 함수의 볼록성을 활용하여, 활성 학습자와 완전히 레이블링된 OMKL 기준선 간의 위험을 유한하게 제한한다.

실험 결과

연구 질문

• RQ1 활성 학습이 온라인 다중 커널 학습에 효과적으로 통합될 수 있는가? 이는 성능 저하 없이 레이블 비용을 줄이는 데 기여하는가?
• RQ2 AMKL에서 제안된 선택 기준이 도착하는 데이터를 레이블링하지 않을 경우 성능 저하가 제한된 범위 내에서만 발생함을 보장하는가?
• RQ3 AMKL-AKS의 적응형 커널 선택 기법이 학습 도중 관련 없는 커널을 동적으로 제거하여 학습 효율성과 정확도를 향상시킬 수 있는가?
• RQ4 제안된 AMKL 프레임워크의 이론적 위험도 한계는 무엇이며, 최적의 하위선형 위험도를 달성하는가?

주요 결과

• 선택 임계치 $\eta_c = \mathcal{O}(1/\sqrt{T})$ 일 때, AMKL은 $\mathcal{O}(\sqrt{T})$ 의 최적의 하위선형 위험도를 달성하여, 불필요한 레이블 요청을 피하는 것을 증명한다.
• 제안된 선택 기준은 도착하는 데이터 포인트를 레이블링하지 않을 경우, 레이블링했을 때와 비교해 최대 $\eta_c$ 만큼의 손실만 발생함을 보장하여 비용과 정확도 사이의 균형을 이룬다.
• AMKL-AKS는 정확도 측면에서 기존 최고 성능의 OMKL 방법들을 능가하거나 동등하게 유지하면서도 훨씬 적은 수의 레이블 데이터를 요구한다.
• 실세계 데이터셋을 대상으로 한 수치 실험 결과, AMKL-AKS는 최신 기술 수준의 OMKL에 비해 레이블링 노력은 줄였지만 유사하거나 더 뛰어난 성능을 달성함을 확인했다.
• AMKL-AKS의 적응형 커널 선택 메커니즘은 실시간으로 관련 없는 커널을 효과적으로 제거하여 계산 효율성과 모델 수렴 속도를 향상시켰다.
• 위험도 분석 결과, AMKL과 완전히 레이블링된 OMKL 기준선 간의 누적 손실 차이가 하위선형으로 증가함을 입증하여, 이론적으로 강건한 성능을 보였다.