[논문 리뷰] Hyper-sparse optimal aggregation

Stéphane Gaïffas, Guillaume Lecué|ArXiv.org|2009. 12. 08.

Face and Expression Recognition참고 문헌 34인용 수 9

한 줄 요약

이 논문은 함수 사전에서 두 개인 비영 coefficients만을 사용하여 최적의 예측 위험을 달성하는 초희소 최적 집합 방법을 제안하며, 최적성에 필요한 최소 수의 계수는 2개임을 증명한다. 이러한 두 요소로 구성된 집합에 대해 정확한 오라클 부등식을 수립하고, 이를 바탕으로 이방향 베소프 공간 위에서 적응형 추정기를 구성하여 부드러움 매개변수의 사전 지식 없이도 최소 최대 속도를 달성한다.

ABSTRACT

In this paper, we consider the problem of "hyper-sparse aggregation". Namely, given a dictionary $F = \{f_1, ..., f_M \}$ of functions, we look for an optimal aggregation algorithm that writes $ ilde f = \sum_{j=1}^M θ_j f_j$ with as many zero coefficients $θ_j$ as possible. This problem is of particular interest when $F$ contains many irrelevant functions that should not appear in $ ilde{f}$. We provide an exact oracle inequality for $ ilde f$, where only two coefficients are non-zero, that entails $ ilde f$ to be an optimal aggregation algorithm. Since selectors are suboptimal aggregation procedures, this proves that 2 is the minimal number of elements of $F$ required for the construction of an optimal aggregation procedures in every situations. A simulated example of this algorithm is proposed on a dictionary obtained using LARS, for the problem of selection of the regularization parameter of the LASSO. We also give an example of use of aggregation to achieve minimax adaptation over anisotropic Besov spaces, which was not previously known in minimax theory (in regression on a random design).

연구 동기 및 목표

• 집합에서 비영 계수의 수를 최소화하면서도 최적성을 유지하는 희소 집합 절차를 개발한다.
• 최적 집합에 있어 두 개의 비영 계수가 충분함을 증명하여 최적성에 필요한 희소성의 하한을 확립한다.
• 초희소 집합을 활용하여 이방향 베소프 공간 위에서 적응형 추정기를 구성하고, 부드러움 매개변수의 사전 지식 없이도 최소 최대 속도를 달성한다.
• 기하학적 논증을 통해 경험 위험 최소화 선택기의 비최적성에 대한 새로운 증명을 제공한다.
• 두 계수로 구성된 집합에 대해 정확한 오라클 부등식을 수립하여 최적의 위험 한계를 보장한다.

제안 방법

• 사전에서 오직 두 함수만을 조합하여 구성하는 초희소 집합 절차를 제안한다.
• 두 계수로 구성된 집합에 대해 정확한 오라클 부등식을 유도하여, 고확률적으로 최적의 예측 위험을 달성함을 보여준다.
• 경험 과정 이론과 임bedding 연산자의 엔트로피 수를 활용하여 함수 클래스의 복잡도를 제어한다.
• 오라클 부등식을 정규화된 경험 위험 최소화자(PERM)에 적용하여 적응형 추정기를 구축한다.
• Mendelson와 Neeman(2009)의 정규화된 학습 이론 결과를 활용하여 집합 프레임워크와 최소 최대 적응성 간의 연결 고리를 형성한다.
• 이방향 베소프 공간의 임베딩과 엔트로피 한계(Tröbel, 2006의 정리 9 참조)를 활용하여 집합 프레임워크의 조건 (Cβ) 를 검증한다.

실험 결과

연구 질문

• RQ1 사전에서 두 개의 비영 계수만을 사용하여 최적의 집합 절차를 구성할 수 있는가?
• RQ2 희소 집합 방법을 통해 이방향 베소프 공간에서 최소 최대 적응성을 달성할 수 있는가?
• RQ3 왜 경험 위험 최소화(선택기)는 최적 집합보다 비최적인가?
• RQ4 최적 집합 절차에 필요한 사전의 최소 요소 수는 얼마인가?
• RQ5 베소프 공간 임베딩의 엔트로피 수는 희소 집합에서 오라클 부등식 유도에 어떻게 활용될 수 있는가?

주요 결과

• 두 계수로 구성된 집합에 대해 정확한 오라클 부등식이 수립되었으며, 이는 고확률적으로 최적의 예측 위험을 달성함을 증명한다.
• 모든 설정에서 최적 집합 절차에 있어 두 개의 비영 계수가 최소 수임을 증명하였다.
• 초희소 집합은 위험 측면에서 선택기(ERM)보다 뛰어나며, 경험 위험 최소화의 비최적성을 확인한다.
• 이 방법을 통해 부드러움 매개변수의 사전 지식 없이도 이방향 베소프 공간에서 최소 최대 적응성을 달성할 수 있다.
• 이방향 베소프 공간의 엔트로피 한계(정리 9를 통한)는 조건 (Cβ) 를 검증하여 오라클 부등식의 적용 가능성을 보장한다.
• 프레임워크는 정규화된 경험 위험 최소화자를 활용하여 적응형 추정기를 성공적으로 구축하였으며, 랜덤 설계 회귀에서 최소 최대 최적성을 달성하였다.