[논문 리뷰] Hierarchies of Relaxations for Online Prediction Problems with Evolving Constraints

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|2015. 03. 04.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 3

한 줄 요약

이 논문은 랜덤 플레이아웃과 라서레 반정형계층을 사용하여 변화하는 제약 조건으로 정의된 조합론적 벤치마크 집합에 대해 저위험도를 달성하는 다항식 시간 온라인 예측 프레임워크를 제안한다. 주요 기여는 라서레 계층의 정수성 갭과 라데마처 복잡도의 곱에 비례하는 위험도 경계를 제공하는 것으로, 이는 분리 비용의 경우 O(log κ)이며 할당 비용의 경우 정확하다.

ABSTRACT

We study online prediction where regret of the algorithm is measured against a benchmark defined via evolving constraints. This framework captures online prediction on graphs, as well as other prediction problems with combinatorial structure. A key aspect here is that finding the optimal benchmark predictor (even in hindsight, given all the data) might be computationally hard due to the combinatorial nature of the constraints. Despite this, we provide polynomial-time \emph{prediction} algorithms that achieve low regret against combinatorial benchmark sets. We do so by building improper learning algorithms based on two ideas that work together. The first is to alleviate part of the computational burden through random playout, and the second is to employ Lasserre semidefinite hierarchies to approximate the resulting integer program. Interestingly, for our prediction algorithms, we only need to compute the values of the semidefinite programs and not the rounded solutions. However, the integrality gap for Lasserre hierarchy \emph{does} enter the generic regret bound in terms of Rademacher complexity of the benchmark set. This establishes a trade-off between the computation time and the regret bound of the algorithm.

연구 동기 및 목표

• 변화하는 제약 조건으로 정의된 조합론적 벤치마크 집합에 대해 저위험도를 달성하는 계산적으로 효율적인 온라인 예측 알고리즘을 개발하기.
• 조합론적 제약 조건 하에서 최적의 예측자 찾기의 계산적 난이도를 반정형계획법 해석을 통해 다루기.
• 반올림된 해를 계산하지 않고도 작동하는 비정확한 학습 알고리즘을 설계하여, 반정형계획법의 값 계산에 의존하기.
• 라데마처 복잡도의 벤치마크 클래스와 라서레 계층의 정수성 갭에 의존하는 위험도 경계를 수립하기.
• 특정 문제들(예: 평면 그래프 상의 메트릭 레이블링)에 대해 향상된 정수성 갭을 알고리즘을 수정하지 않고도 바로 위험도 경계에 통합할 수 있음을 보여주기.

제안 방법

• 랜덤 플레이아웃을 통해 계산 부담을 줄이고, 조합론적 제약 조건에서 유도된 정수계획법을 근사하기 위해 라서레 반정형계층을 활용하는 방법.
• 반올림된 해를 계산하지 않고 반정형계획법의 값만 계산하여 효율적인 구현을 가능하게 한다.
• 위험도 경계는 라데마처 복잡도를 기반으로 유도되며, 이는 라서레 계층의 정수성 갭에 의해 스케일링된다. 이 정수성 갭은 분리 비용의 경우 O(log κ)이며, 할당 비용의 경우 1이다.
• 측정 가능한 정보가 있는 문제들로의 일반화는 공변수의 선형 함수와 그래프 기반의 스무딩을 포함하는 제약 조건을 통해 가능하다.
• 멀티웨이 컷, 이징 모델, 메트릭 레이블링 등의 문제들을 포함하여, 알려진 정수성 갭을 재사용할 수 있도록 한다.
• 정수성 갭이 일정할 경우, 위험도 경계가 상수 요소 이내로 최적임을 보여주는 하한선을 통해 이론적 보장을 확보한다.

실험 결과

연구 질문

• RQ1 정확한 하드 정수계획법을 해결하지 않고도 변화하는 조합론적 제약 조건 하에서 저위험도를 달성할 수 있는가?
• RQ2 반정형 해석 계층은 온라인 환경에서 최적의 벤치마크 예측자를 효율적으로 근사하기 위해 어떻게 활용될 수 있는가?
• RQ3 온라인 학습에서 라서레 계층을 사용할 경우 계산 효율성과 위험도 성능 사이의 상호 교환 관계는 무엇인가?
• RQ4 라서레 계층의 정수성 갭은 제약 조건의 복잡성에 반영된 엄밀한 위험도 경계를 유도하는 데 사용될 수 있는가?
• RQ5 기존의 제약 조건 예측자 클래스에 대한 라데마처 복잡도 하한선을 고려할 때, 제안된 프레임워크는 위험도 측면에서 최적인가?

주요 결과

• 위험도 경계는 라데마처 복잡도의 곱에 비례하며, 이는 분리 비용의 경우 O(log κ)이고 할당 비용의 경우 1이다.
• 반올림된 해를 계산하지 않고도 반정형계획법의 값만을 기반으로 하여 저위험도를 달성하며, 이는 다항식 시간 계산이 가능하게 한다.
• 그래프 기반 예측, 메트릭 레이블링, 멀티웨이 컷 등의 넓은 범위의 문제들에 적용 가능하며, 조합론적 구조를 통해 제약 조건을 모델링한다.
• 라서레 계층의 정수성 갭은 직접적으로 위험도 경계에 포함되며, 특정 문제들(예: 평면 그래프)에 대해 향상된 갭을 알고리즘 변경 없이 즉시 활용할 수 있다.
• 하한선을 통해 위험도 경계가 상수 요소 이내로 최적임을 보여주며, 최악의 경우 위험도는 제약 조건 클래스의 라데마처 복잡도의 1/κ 배 이상이 된다.
• 측정 가능한 정보에 대해 강건하다: 예측자가 공변수의 선형 함수와 가까워야 할 경우, 적절한 제약 조건 인코딩을 통해 여전히 저위험도를 유지한다.