[논문 리뷰] Stochastic Linear Optimization with Adversarial Corruption

Yingkai Li, Edmund Y. Lou외 1명|arXiv (Cornell University)|2019. 09. 04.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 19

한 줄 요약

이 논문은 공격자에 의한 오염이 있는 환경에서의 스토하스틱 선형 최적화를 위한 새로운 알고리즘을 제안한다. 에포크 기반 탐색과 Löwner-John 타원체를 사용하며, 오염에 민감한 추정을 수행한다. 이 알고리즘은 $ O\left(\frac{d^{5/2}C\log T}{\Delta} + \frac{d^6\log(\frac{d\log T}{\delta})\log T}{\Delta^2}\right) $ 의 리그레트 한계를 달성하며, 이는 오염 정도 $ C $ 에 대해 선형적으로 증가한다. 또한 다항 시간 내에 타원체를 계산함으로써 계산적으로 효율적이다.

ABSTRACT

We extend the model of stochastic bandits with adversarial corruption (Lykouriset al., 2018) to the stochastic linear optimization problem (Dani et al., 2008). Our algorithm is agnostic to the amount of corruption chosen by the adaptive adversary. The regret of the algorithm only increases linearly in the amount of corruption. Our algorithm involves using Löwner-John's ellipsoid for exploration and dividing time horizon into epochs with exponentially increasing size to limit the influence of corruption.

연구 동기 및 목표

• 스토하스틱 밴디트 모델에 공격자 오염을 통합하는 열린 문제를 해결하고, 이전의 오염이 있는 스토하스틱 밴디트 연구를 확장한다.
• 공격자가 보상값을 적응적으로 오염시키며, 오염 수준을 사전에 알지 못하더라도 알고리즘이 효과적으로 작동하도록 설계한다.
• 전체 오염량 $ C $ 에 대해 선형으로 증가하는 리그레트 한계를 달성하면서, 오염이 없는 경우 문제에 따라 최적화된 성능을 유지한다.
• Löwner-John 타원체에 대한 다항 시간 알고리즘을 활용해 계산 효율성을 확보한다.

제안 방법

• 시계열을 지수적으로 증가하는 에포크로 나누어 초기 오염이 후속 결정에 미치는 영향을 제한한다.
• 고차원 공간에서 최적 방향의 잘 조절된 추정을 유지하기 위해 Löwner-John 타원체를 탐색에 사용한다.
• 이중 전략을 적용한다: 이전 에포크의 추정치를 사용한 이용 및 상관관계에 의한 추정 편향을 피하기 위해 독립적인 좌표 기반 추정을 통한 탐색.
• 오염 상황 하에서 추정 오차의 경계를 정의하기 위해 농도 불확실성 불등식을 적용하며, 노이즈와 공격자에 의한 편향을 모두 고려한 오염 인식 신뢰구간을 사용한다.
• 새로운 리그레트 분해 기법을 도입하여 이용과 탐색 성분을 각각 별도로 경계하며, 에포크별 특성에 맞는 파rameter를 사용한다.
• 약한 Löwner-John 타원체를 다항 시간 내에 계산하는 알고리즘을 사용하여 계산 효율성을 확보하며, $ E \subseteq D \subseteq 2d^{3/2}E $ 를 만족한다.

실험 결과

연구 질문

• RQ1 스토하스틱 선형 최적화는 문제에 따라 최적의 리그레트 한계를 유지하면서 공격자 오염에 대해 강건하게 만들 수 있는가?
• RQ2 모르는 오염 수준에서 오염 정도가 증가함에 따라 선형 최적화 설정에서 리그레트는 어떻게 변화하는가?
• RQ3 스토하스틱 선형 밴디트 모델에서 공격자 오염이 유발하는 최소한의 추가 리그레트 오버헤드는 얼마인가?
• RQ4 공격자 오염 하에서도 낮은 리그레트를 유지할 수 있는 계산적으로 효율적인 알고리즘을 설계할 수 있는가?
• RQ5 오염이 추정에 미치는 영향을 제한하기 위해 탐색과 이용을 분리하는 방식은 가능한가?

주요 결과

• 알고리즘은 확률 $ 1 - \delta $ 에서 $ O\left(\frac{d^{5/2}C\log T}{\Delta} + \frac{d^6\log(\frac{d\log T}{\delta})\log T}{\Delta^2}\right) $ 의 리그레트 한계를 달성하며, 총 오염량 $ C $ 에 대해 선형적으로 증가한다.
• 오염에 의한 리그레트 손실은 최적의 오염 없음 상태의 리그레트에 비해 오직 $ \log T $ 의 곱셈 인자로 나타나, 오염에 강건한 설정에서의 거의 최적성을 시사한다.
• 에포크 기반 추정을 통해 초기 오염의 영향을 약화시킴으로써, 오염 상황에서도 시간에 대해 $ O(\log T) $ 의 의존성을 유지한다.
• Löwner-John 타원체 계산에 다항 시간 알고리즘을 사용함으로써 차원 $ d $ 와 $ \log T $ 에 대해 다항 시간의 계산 비용을 확보한다.
• 알고리즘은 오염 정도에 대해 무관하며, $ C $ 를 사전에 알 필요 없이도 강력한 성능을 달성한다.
• 리그레트 분해 결과, 이용 리그레트는 $ C $ 에 대해 선형으로 증가하지만, 탐색 리그레트는 $ \frac{1}{\Delta^2} $ 에 비례하여 증가하며, 이는 오염 상황에서 탐색과 이용을 분리하는 데서 발생하는 과제를 반영한다.