[논문 리뷰] Online A-Optimal Design and Active Linear Regression

Xavier Fontaine, Pierre Perrault외 2명|arXiv (Cornell University)|2019. 06. 20.

Advanced Multi-Objective Optimization Algorithms참고 문헌 46인용 수 6

한 줄 요약

이 논문은 이방성 분산을 가진 활성 선형 회귀에서 온라인 A-최적 설계 알고리즘을 제안한다. 각 공변량의 분산이 알려져 있지 않고 상이하다. 밴딧과 볼록 최적화 기법을 융합하여, T개의 샘플 예산을 적응적으로 할당함으로써 추정된 매개변수의 기대 ℓ² 손실을 최소화한다. 공변량이 기저를 이룰 경우, 이는 𝒪(T⁻²)의 리그레트 한계를 달성하며, 이는 이전 결과를 향상시킨다.

ABSTRACT

We consider in this paper the problem of optimal experiment design where a decision maker can choose which points to sample to obtain an estimate $\hatβ$ of the hidden parameter $β^{\star}$ of an underlying linear model. The key challenge of this work lies in the heteroscedasticity assumption that we make, meaning that each covariate has a different and unknown variance. The goal of the decision maker is then to figure out on the fly the optimal way to allocate the total budget of $T$ samples between covariates, as sampling several times a specific one will reduce the variance of the estimated model around it (but at the cost of a possible higher variance elsewhere). By trying to minimize the $\ell^2$-loss $\mathbb{E} [\lVert\hatβ-β^{\star} Vert^2]$ the decision maker is actually minimizing the trace of the covariance matrix of the problem, which corresponds then to online A-optimal design. Combining techniques from bandit and convex optimization we propose a new active sampling algorithm and we compare it with existing ones. We provide theoretical guarantees of this algorithm in different settings, including a $\mathcal{O}(T^{-2})$ regret bound in the case where the covariates form a basis of the feature space, generalizing and improving existing results. Numerical experiments validate our theoretical findings.

연구 동기 및 목표

• 각 공변량의 분산이 알려져 있지 않고 상이한 이방성 분산 조건에서 최적의 실험 설계 문제를 해결하기 위해.
• 고정된 T개의 샘플 예산을 공변량 간에 적응적으로 할당하여 추정된 매개변수 β̂의 기대 ℓ² 손실을 최소화하기 위해.
• 과거 관측치를 바탕으로 차례로 어느 공변량을 샘플링할지 선택하는 온라인, 활성 학습 알고리즘을 개발하기 위해.
• 특히 공변량이 특징 공간의 기저를 이룰 경우를 포함한 다양한 설정에서 리그레트 성능에 대한 이론적 보장을 제공하기 위해.

제안 방법

• A-최적 설계 문제의 이중 형식을 사용하여 단순체 위의 볼록 최적화 문제로 변환한다.
• 탐색과 이용의 균형을 맞추기 위해 정규화된 손실 함수를 사용한 온라인 볼록 최적화를 적용한다.
• 리그레트를 최소화하기 위해 적응적 단계 크기 α = T⁻¹/⁴를 사용하는 투영 경사 하강 업데이트 규칙을 구현한다.
• 최적 설계가 척도 조정된 공변량 Xₖ/σₖ를 둘러싸는 최소 타원체를 찾는 것으로 기하학적 해석을 제공한다.
• 카라슈-쿤-터커(Karush-Kuhn-Tucker, KKT) 조건을 사용하여, 오직 타원체의 경계에 있는 공변량만 샘플링된다는 것을 보여준다.
• 이중성 갭 분석과 손실 함수에 대한 농도 부등식을 사용하여 리그레트 한계를 유도한다.

실험 결과

연구 질문

• RQ1 이방성 분산 조건 하에서 온라인 활성 샘플링 알고리즘이 A-최적 설계에서 상수 이하의 리그레트를 달성할 수 있는가?
• RQ2 공변량이 기저를 이룰 경우 온라인 A-최적 설계에서 리그레트의 본질적 한계는 무엇인가?
• RQ3 저분산과 고분산 공변량 간의 샘플링 균형을 어떻게 조절하여 추정 오차를 최소화할 수 있는가?
• RQ4 제안된 방법이 순차적 설정에서 기존의 오프라인 또는 비적응형 A-최적 설계보다 우수한 성능을 낼 수 있는가?
• RQ5 기하학적 구조(예: 타원체)가 최적 샘플링 정책을 결정하는 데 어떤 역할을 하는가?

주요 결과

• 공변량이 특징 공간의 기저를 이룰 경우, 제안된 알고리즘이 𝒪(T⁻²)의 리그레트 한계를 달성하며, 이는 기존 결과를 향상시킨다.
• 두 개의 서로 다른 분산을 가진 공변량이 있는 악조건 상황에서 리그레트는 𝒪(T⁻³/²) 이하로 하한이 존재함을 보여주며, 문제의 본질적 한계를 입증한다.
• 알고리즘의 성능은 이중성 갭과 척도 조정된 공변량 Xₖ/σₖ의 기하학적 구조에 의해 결정되며, 이들은 최적 타원체에 둘러싸여 있다.
• 이론적 분석을 통해 오직 최소 봉쇄 타원체의 경계에 있는 공변량만 샘플링된다는 것이 확인되었으며, KKT 조건과 일치한다.
• 수치 실험을 통해 이론적 결과가 검증되었으며, 기준 방법 대비 더 빠른 수렴 속도와 낮은 추정 오차를 보였다.
• 단계 크기 α = T⁻¹/⁴의 선택은 수렴 속도와 추정 오차 사이의 최적 트레이드오���을 이끌어내며, 최종 리그레트 한계에 기여한다.