[논문 리뷰] Online Optimization of Smoothed Piecewise Constant Functions

Vincent Cohen-Addad, Varun Kanade|arXiv (Cornell University)|2016. 04. 07.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 5

한 줄 요약

이 논문은 [0,1)에서 부드럽게 처리된 조각별로 일정한 함수에 대해, 불연속성이 유한한 불확실성(밀도 ≤ σ)을 가진 온라인 최적화 프레임워크를 제안한다. 연속적인 지수 가중 예측기와 구간 트리 데이터 구조를 사용하는 효율적인 알고리즘을 제안하며, 전체 정보 설정에서는 Õ(√T)의 손실을 달성하고, 밴딧 설정에서는 비선형 손실을 달성한다. 이는 목적 함수가 비리프시츠이거나 조합적 불연속성일 경우에도 성립한다.

ABSTRACT

We study online optimization of smoothed piecewise constant functions over the domain [0, 1). This is motivated by the problem of adaptively picking parameters of learning algorithms as in the recently introduced framework by Gupta and Roughgarden (2016). Majority of the machine learning literature has focused on Lipschitz-continuous functions or functions with bounded gradients. 1 This is with good reason---any learning algorithm suffers linear regret even against piecewise constant functions that are chosen adversarially, arguably the simplest of non-Lipschitz continuous functions. The smoothed setting we consider is inspired by the seminal work of Spielman and Teng (2004) and the recent work of Gupta and Roughgarden---in this setting, the sequence of functions may be chosen by an adversary, however, with some uncertainty in the location of discontinuities. We give algorithms that achieve sublinear regret in the full information and bandit settings.

연구 동기 및 목표

• 0-1 knapsack, MWIS, k-means 등 조합적 학습 문제에서 발생하는 비리프시츠, 조각별 일정한 함수에 대한 온라인 최적화의 과제를 해결한다.
• 기존 방법이 리프시츠 연속성 또는 유한한 기울기를 가정하는 한계를 극복하며, 이는 불연속적인 목적 함수에서는 실패한다.
• 불연속성 위치가 유한한 밀도 σ 내에서 불확실한 경우, 스무딩된 적대자 모델 하에서 손실이 없는 온라인 학습 알고리즘을 설계한다.
• 비록 목적 함수가 스무딩되지 않았더라도, 전체 정보 및 밴딧 설정 모두에서 비선형 손실을 달성한다.
• 각 라운드당 O(k log(kt))의 시간 복잡도를 가지며, T에 대해 다항식 시간 복잡도를 피하는 계산적으로 효율적인 알고리즘을 개발한다.

제안 방법

• 불연속성 위치가 밀도 ≤ σ인 분포에서 유도되는 조각별 일정한 함수를 선택하는 적대자로 모델링하여, 악성의 바늘-풀러 흐름을 방지하기 위해 불확실성을 도입한다.
• 조각별 일정한 수익 함수를 처리할 수 있도록 조정된 연속적인 지수 가중 예측기를 핵심 알고리즘 메커니즘으로 사용한다.
• 활동적인 구간을 효율적으로 유지하고 쿼리하기 위해 구간 트리나 레드블랙 트리를 사용하여, 각 라운드당 O(k log(kt))의 업데이트 시간을 확보한다.
• 밴딧 설정에서는 Exp.4 기반 기법을 응용하여 부분 피드백을 처리하면서도 비선형 손실을 유지한다.
• 도메인 [0,1)에서 동적 구간 업데이트와 점 쿼리를 지원하는 데이터 구조를 설계하여, 가중치 유지 및 행동 선택을 효율적으로 수행한다.
• 매개변수 ρ로 매개변수화된 함수로 모델링된 그로비 히우리스틱을 활용해 실제 문제인 0-1 캐리어, 최대 가중 독립 집합, 가중 k-means에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 조합적 머신러닝 문제에서 발생하는 비리프시츠, 조각별 일정한 함수에 대해 온라인 최적화를 효과적으로 수행할 수 있는가?
• RQ2 불연속성 위치에 유한한 불확실성(스무딩된 적대자)을 도입함으로써, 불연속성 존재 하에 비선형 손실을 달성할 수 있는가?
• RQ3 목적 함수가 불연속적이라도, 각 라운드당 다항로그 시간 복잡도를 가지는 효율적인 온라인 알고리즘을 설계할 수 있는가?
• RQ4 스무딩된 적대자 모델 하에서 전체 정보 및 밴딧 설정에서 달성 가능한 최적의 손실 한계는 무엇인가?
• RQ5 제안된 알고리즘이 0-1 캐리어, MWIS, 가중 k-means와 같은 실제 문제에서 최악의 이론적 한계 대비 실제로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 알고리즘은 스무딩된 적대자 모델 하에서 전체 정보 설정에서 Õ(√T)의 손실을 달성하며, 온라인 학습의 최적 한계에 가까워진다.
• 알고리즘은 각 라운드당 O(k log(kt))의 시간 복잡도를 가지며, T에 대해 다항식 시간 복잡도를 가지는 난이도 높은 구현 방식과는 달리 계산적으로 효율적이고 확장 가능하다.
• 0-1 캐리어, MWIS, 가중 k-means에 대한 실험 결과는 라운드당 손실이 급격히 감소하고 최악의 이론적 한계보다 크게 낮아 보인다.
• 100회의 실험 런에서 손실의 분산이 매우 작아, 무작위 인스턴스 하에서 알고리즘이 강건하고 안정적임을 보여준다.
• 표준 리프시츠 기반 방법이 실패하는 k-means 및 독립 집합 문제와 같은 비스무딩, 조합적 불연속적인 목적 함수도 성공적으로 처리한다.
• 스무딩된 적대자 모델은 모든 최적 점을 포함하는 최소 구간이 T에 대해 다항식 크기로 유지되도록 보장하여, 정보 이론적으로 학습이 불가능한 상황을 방지한다.