[논문 리뷰] Structured Stochastic Linear Bandits

Nicholas D. Johnson, V. Sivakumar외 1명|arXiv (Cornell University)|2016. 06. 17.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 6

한 줄 요약

이 논문은 알려지지 않은 매개변수 θ*의 노름 기반 구조(예: 희박성, 그룹 희박성, 낮은 질량)를 활용하여, 노름 정규화된 회귀를 통해 더 날카운 신뢰 타원체를 구성하는 구조적 확률적 선형 밴딧 알고리즘을 제안한다. 타원체의 반지름을 구조적 집합의 가우시안 폭과 연관시킴으로써, 이론적 성능 보장이 환경 차원이 아닌 구조의 내재 차원에 따라 스케일링되며, 이는 이전의 비구조적 접근보다 더 날카로운 성능 보장을 이끌어낸다.

ABSTRACT

The stochastic linear bandit problem proceeds in rounds where at each round the algorithm selects a vector from a decision set after which it receives a noisy linear loss parameterized by an unknown vector. The goal in such a problem is to minimize the (pseudo) regret which is the difference between the total expected loss of the algorithm and the total expected loss of the best fixed vector in hindsight. In this paper, we consider settings where the unknown parameter has structure, e.g., sparse, group sparse, low-rank, which can be captured by a norm, e.g., $L_1$, $L_{(1,2)}$, nuclear norm. We focus on constructing confidence ellipsoids which contain the unknown parameter across all rounds with high-probability. We show the radius of such ellipsoids depend on the Gaussian width of sets associated with the norm capturing the structure. Such characterization leads to tighter confidence ellipsoids and, therefore, sharper regret bounds compared to bounds in the existing literature which are based on the ambient dimensionality.

연구 동기 및 목표

• 기존의 확률적 선형 밴딧 알고리즘이 환경 차원 p에 따라 스케일링되는 한계를 해결하기 위해, 특히 θ*가 기저 구조를 지닐 경우에 대비한다.
• L1, 그룹 L1, 핵형 노름 등과 같은 구조적 노름에 적응하는 θ* 주변의 고확률 신뢰 타원체를 구성하기 위한 일반적 프레임워크를 개발한다.
• 환경 차원에 의존하지 않고 기하학적 특성화를 통해 가우시안 폭을 활용하여 타원체 반지름을 좁힘으로써 리그레트를 감소시킨다.
• 초기 무작위 탐색과 이중선형 최적화로부터 유도된 낙관적 해를 중심으로 한 L2 구의 균일한 샘플링을 조합한 샘플링 전략을 설계하여, 강인성과 탐색 효율성을 향상시킨다.

제안 방법

• θ*에 대한 구조적 가정을 더 잘 반영하기 위해 릿지 회귀 대신 노름 정규화된 회귀(예: 라소)를 사용하여 신뢰 타원체를 구성한다.
• 구조적 노름으로 정의된 집합의 가우시안 폭을 매개변수 공간의 복잡도의 대체 척도로 사용하여, 신뢰 타원체의 반지름을 결정한다.
• 이중 단계 샘플링 전략을 도입한다: 첫 번째 단계는 결정 집합에서의 무작위 샘플링을 통해 θ*의 일致한 추정치를 확보하고, 두 번째 단계는 이중선형 최적화로부터 유도된 낙관적 해를 중심으로 한 L2 구에서의 균일한 샘플링을 수행한다.
• 모든 라운드 동안 θ*가 높은 확률로 타원체 내에 포함되도록 보장하기 위해 마팅게일 차분에 대한 농도 부등식을 적용한다.
• 최근의 구조적 추정 이론 결과를 활용하여, 밴딧 피드백의 능동적 샘플링 설정으로 i.i.d. 샘플링 보장을 확장한다.
• 타원체 반지름을 가우시안 폭과 연관시켜 리그레트 경계를 유도함으로써, θ*가 구조적일 경우 차원 감소를 이끌어낸다.

실험 결과

연구 질문

• RQ1 알려지지 않은 매개변수 θ*에 대한 구조적 가정을 활용하여, 확률적 선형 밴딧에서의 신뢰 타원체를 좁힐 수 있는가?
• RQ2 노름 유도 집합의 가우시안 폭은 구조적 밴딧 설정에서 고확률 신뢰 타원체의 반지름과 어떻게 관련되는가?
• RQ3 통계적 일致성과 효율적 탐색을 동시에 확보하면서도 θ*에 대한 고확률 신뢰를 유지할 수 있는 샘플링 전략은 무엇인가?
• RQ4 리그레트 경계는 환경 차원에 비해 구조적 복잡도(예: 희박성, 그룹 희박성)에 따라 어떻게 스케일링되는가?
• RQ5 구조적 밴딧 문제에서 릿지 회귀에 비해 노름 정규화된 회귀가 신뢰 타원체 구성에 개선을 이룰 수 있는가?

주요 결과

• 신뢰 타원체의 반지름은 구조적 집합의 가우시안 폭에 비례하여 스케일링되며, 이는 환경 차원 p에 기반한 타원체보다 더 날카로운 타원체를 이끌어낸다.
• s-희박한 θ*의 경우, 타원체 반지름은 O(√(s log p))로 스케일링되며, 이는 비구조적 설정에서의 O(√p)보다 크게 향상된다.
• 제안된 알고리즘의 리그레트 경계는 구조적 집합의 가우시안 폭에 따라 스케일링되며, θ*가 구조적일 경우 더 날카로운 경계를 제공한다.
• 이 방법은 s-희박한 θ*에 대해 기존 최상의 성능 결과(예: √(s p T))와 동일한 리그레트 경계를 달성하지만, 더 넓은 범위의 클래스(예: 그룹 희박성, 낮은 질량 행렬)로 일반화된다.
• 이중 단계 샘플링 전략—초기 무작위 탐색과 L2 구에서의 균일한 샘플링—은 통계적 일치성과 효과적인 탐색을 보장한다.
• 마팅게일 농도 및 능동적 샘플링 설정으로의 구조적 추정 이론 확장 결과를 활용하여 이론적 보장을 확립하였으며, θ*가 신뢰 타원체에 고확률로 포함됨을 보장한다.