[논문 리뷰] Oracle inequalities for computationally adaptive model selection

Alekh Agarwal, Peter L. Bartlett외 1명|arXiv (Cornell University)|2012. 08. 01.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 13

한 줄 요약

이 논문은 고정된 계산 예산 내에서 함수 클래스들 사이에서 적응적으로 선택하는 알고리즘을 제안하는 계산적 시각을 도입한다. 선택된 모델의 위험은 최적의 클래스에 비해 로그 수준의 페널티만을 가지며, 이는 계산 시간이 각 클래스 간으로 다를 경우에도 거의 최적임을 보여주는 오라클 부등식을 수립한다.

ABSTRACT

We analyze general model selection procedures using penalized empirical loss minimization under computational constraints. While classical model selection approaches do not consider computational aspects of performing model selection, we argue that any practical model selection procedure must not only trade off estimation and approximation error, but also the computational effort required to compute empirical minimizers for different function classes. We provide a framework for analyzing such problems, and we give algorithms for model selection under a computational budget. These algorithms satisfy oracle inequalities that show that the risk of the selected model is not much worse than if we had devoted all of our omputational budget to the optimal function class.

연구 동기 및 목표

• 고전적 모델 선택의 격차를 보완하기 위해 계산 비용을 핵심 제약 조건으로 통합하고자 한다.
• 추정 오차, 근사 오차, 계산 노력 간의 균형을 이루는 모델 선택 알고리즘을 개발하고자 한다.
• 선택된 모델가 최적의 클래스에 전적으로 할애된 계산을 써도 거의 동일한 성능을 내는 이론적 보장을 제공하고자 한다. 이를 위해 오라클 부등식을 활용한다.
• 복잡한 모델이 학습하는 데 비용이 많이 들기 때문에, 모델의 풍부함과 각 클래스의 데이터 크기 사이의 트레이드오프가 필요한 상황을 다루고자 한다.

제안 방법

• 총 계산에 대한 고정된 예산을 두고, 근사 오차, 추정 오차, 계산 비용 간의 트레이드오프로 모델 선택 문제를 수립한다.
• 계층적인 함수 클래스 가족 $\mathcal{F}_1 \subseteq \mathcal{F}_2 \subseteq \cdots$ 를 사용하고, 각 클래스에 대해 자원을 적응적으로 할당한다.
• 표본 크기와 모델 클래스에 따라 달라지는 복잡성 페널티 $\gamma_i(n)$ 를 사용하는 페널티가 부과된 경험 위험 최소화 프레임워크를 적용한다.
• 다양한 클래스 간 계산 자원 할당을 위해 다이아몬드 기반 전략을 사용하며, 성능과 비용에 기반해 동적으로 어느 클래스를 학습할지를 선택한다.
• 집중 불등식과 할당 전략의 위험 분석을 통해 최종 모델의 위험에 대한 고확률 경계를 유도한다.
• 제네슨 부등식과 尾 확률 경계를 조합하여 평균 출력 모델 $\widehat{f}_T$ 의 기대 위험을 제어한다.

실험 결과

연구 질문

• RQ1 표본 크기 외에 계산 제약 조건에 적응하는 모델 선택은 어떻게 이루어질 수 있는가?
• RQ2 계산 비용이 주요 제약 조건일 경우, 모델 선택의 이론적 성능 한계는 무엇인가?
• RQ3 각 클래스 간 모델 피팅에 소요되는 계산 비용이 다를 경우, 오라클 유사 위험 경계를 달성할 수 있는가?
• RQ4 고정된 예산 하에서 다양한 모델 클래스 간 계산 자원을 어떻게 할당하여 초과 위험을 최소화할 수 있는가?
• RQ5 적응적 할당이 선택된 모델의 수렴 속도에 미치는 영향은 무엇인가?

주요 결과

• 선택된 모델의 위험은 최적의 위험에 비해 클래스 수 $K$ 의 로그 수준의 페널티만을 가지며, 고확률로 유한하다.
• 초과 위험은 $T$ 가 총 계산 라운드 수일 때 $O(T^{-\min\{\alpha, 1/2\}})$ 의 속도로 감소한다.
• 복잡한 모델이 학습에 비용이 많이 들더라도, 근사 오차와 추정 오차 간의 균형이 거의 최적임을 달성한다.
• 최종 모델의 위험은 $R^* + \gamma_{i^*}(Tn_{i^*}) + O(T^{-1/\beta}\sqrt{\log T})$ 로 경계되며, 여기서 $\beta$ 는 할당 전략의 위험을 제어한다.
• 비용의 적응적 할당을 정량화하는 항 $C' T^{1-\min\{\alpha,1/2\}} \left(\sum_{i=1}^K [c_i n_i^{-\alpha} + \cdots]^{\max\{1/\alpha,2\}}\right)^{\min\{\alpha,1/2\}}$ 이 포함되어 있다.
• 확률 $1 - \kappa_1/(TK^3)$ 으로, 평균 모델 $\widehat{f}_T$ 는 거의 최적의 위험을 달성하며, 계산 제약 조건에 대해 강건함을 보여준다.