[논문 리뷰] Multiple kernel multivariate performance learning using cutting plane algorithm

Jingbin Wang, Haoxiang Wang외 2명|arXiv (Cornell University)|2015. 08. 25.

Advanced Computing and Algorithms참고 문헌 46인용 수 15

한 줄 요약

이 논문은 AUC, F1, MCC와 같은 비선형적이고 비연속적인 다변량 성능 측정 지표를 최대화하기 위해 분류기 파라미터와 커널 가중치를 함께 최적화하는 새로운 다중 커널 학습 프레임워크를 제안한다. 통합 목표 함수를 설정하고 반복적인 컷팅 플레인 알고리즘을 통해 이를 해결함으로써, 다양한 벤치마크 데이터셋과 실제 응용 분야(예: 음성 평가 및 패턴 분류)에서 최신 기술보다 뛰어난 성능을 달성한다.

ABSTRACT

In this paper, we propose a multi-kernel classifier learning algorithm to optimize a given nonlinear and nonsmoonth multivariate classifier performance measure. Moreover, to solve the problem of kernel function selection and kernel parameter tuning, we proposed to construct an optimal kernel by weighted linear combination of some candidate kernels. The learning of the classifier parameter and the kernel weight are unified in a single objective function considering to minimize the upper boundary of the given multivariate performance measure. The objective function is optimized with regard to classifier parameter and kernel weight alternately in an iterative algorithm by using cutting plane algorithm. The developed algorithm is evaluated on two different pattern classification methods with regard to various multivariate performance measure optimization problems. The experiment results show the proposed algorithm outperforms the competing methods.

연구 동기 및 목표

• 비선형 다변량 성능 측정 지표 최적화에서 최적의 커널 함수와 파라미터를 선택하는 문제에 대응하기 위해.
• 분류기 파라미터와 커널 가중치의 학습을 하나의 최적화 프레임워크로 통합하여 성능 향상을 도모하기 위해.
• 단일 커널 방법이 커널 선택에 민감하고 파라미터 튜닝 과정에서 과적합되기 쉬운 점을 극복하기 위해.
• AUC 및 F1과 같은 성능 지표에 내재된 비선형성과 비연속성에 효과적으로 대응할 수 있는 확장 가능하고 효율적인 알고리즘을 개발하기 위해.
• 의료 생물학 및 음성 분석 과제를 포함한 다양한 패턴 분류 문제에 대해 제안된 방법의 유효성을 입증하기 위해.

제안 방법

• 주어진 다변량 성능 측정 지표의 상한값을 최소화하면서 분류기 파라미터와 커널 가중치를 함께 학습하는 통합 목표 함수를 수립한다.
• 최적의 커널을 다수의 후보 커널 함수의 가중 선형 조합으로 표현함으로써 다중 커널 학습(MKL)을 가능하게 한다.
• 분류기 파라미터와 커널 가중치를 번갈아가며 갱신하는 방식으로 반복적으로 목표 함수를 최적화하는 컷팅 플레인 알고리즘을 적용한다.
• 커널 트릭을 적용하여 데이터를 고차원 특성 공간으로 매핑함으로써 비선형 결정 경계를 가능하게 하면서도 성능 지표의 구조를 유지한다.
• 성능 지표의 비연속성에도 불구하고 볼록성과 수렴 보장을 유지하는 계층적 최적화 전략을 채택한다.
• 다변량 성능 지표의 비미분 가능하고 비凸인 성분을 효율적으로 다룰 수 있도록 컷팅 플레인 방법을 통합한다.

실험 결과

연구 질문

• RQ1 통합 최적화 프레임워크를 통해 최적의 분류기 파라미터와 커널 가중치를 함께 학습하여 다변량 성능 측정 지표를 최대화할 수 있는가?
• RQ2 AUC, F1, MCC 및 기타 복잡한 성능 지표 최적화에서 제안된 방법이 CAPO, FSPO, NDLO와 같은 최신 기술보다 어떻게 비교되는가?
• RQ3 비선형 분류 과제에서 단일 커널 방법 대비 다중 커널 학습이 성능 향상에 얼마나 기여하는가?
• RQ4 반복적인 컷팅 플레인 알고리즘이 다변량 성능 지표의 비연속성과 비凸성에 효과적으로 대응하는가?
• RQ5 제안된 방법이 음성 평가 및 생물의학적 패턴 인식과 같은 다양한 실제 응용 분야에 일반화 가능한가?

주요 결과

• 벤치마크 데이터셋에서 제시된 모든 성능 측정 지표에 대해 MKLPO가 CAPO, FSPO, NDLO를 뛰어넘는 것으로 확인되었으며, 그 결과는 그림 1의 박스플롯을 통해 명확히 나타났다.
• 재활성 음성 치료 평가 과제에서 MKLPO는 0.900을 초과하는 가장 높은 중앙값 MCC를 기록하여 모든 베이스라인을 압도했다.
• AUC 및 PR-BEP에 대해서도 MKLPO는 10겹 교차검증에서 일관되게 가장 높은 중앙값과 사분자구간 성능를 확보했다.
• 특히 MCC 및 F1과 같은 복잡하고 비선형적인 성능 지표를 최적화할 때 강건성과 뛰어난 일반화 능력을 입증했다.
• 비연속적인 다변량 지표의 특성을 효과적으로 다룰 수 있었으며, 미분 가능한 근사치가 필요 없이도 컷팅 플레인 기반 반복 최적화가 수렴함을 확인했다.
• 다양한 커널의 통합은 심지어 커널 트릭을 사용한 단일 커널 방법보다도 더 나은 커널 공간 탐색을 가능하게 하여 성능 향상을 이끌었다.