[논문 리뷰] Online Improper Learning with an Approximation Oracle

Elad Hazan, Wei Hu외 2명|arXiv (Cornell University)|2018. 01. 01.

Advanced Bandit Algorithms Research인용 수 10

한 줄 요약

이 논문은 온라인 학습에서 오프라인 근사 최적화로의 새로운 감소를 제시하며, 각 반복에서 대수적으로만 많은 수의 근사 오라클 호출을 사용함으로써 효율적인 온라인 학습을 가능하게 한다. 칼라이와 범팔라, 가르버가 제기한 열린 문제를 해결하며, 효율적인 오라클 사용을 바탕으로 비정확한 학습 환경에서 거의 최적의 누적 손실을 달성한다.

ABSTRACT

We study the following question: given an efficient approximation algorithm for an optimization problem, can we learn efficiently in the same setting? We give a formal affirmative answer to this question in the form of a reduction from online learning to offline approximate optimization using an efficient algorithm that guarantees near optimal regret. The algorithm is efficient in terms of the number of oracle calls to a given approximation oracle – it makes only logarithmically many such calls per iteration. This resolves an open question by Kalai and Vempala, and by Garber. Furthermore, our result applies to the more general improper learning problems.

연구 동기 및 목표

• 효율적인 근사 알고리즘이 효율적인 온라인 학습을 가능하게 할 수 있는지 여부에 대한 열린 질문을 해결하기 위해.
• 낮은 누적 손실을 유지하면서 온라인 학습에서 오프라인 근사 최적화로의 감소를 설계하기 위해.
• 제안된 알고리즘이 오라클 호출 측면에서 효율적이며, 각 반복에서 대수적으로만 많은 호출을 수행하도록 보장하기 위해.
• 예측이 원래 가설 클래스에 속하지 않을 수 있는 비정확한 학습 문제로의 적용 범위를 확장하기 위해.
• 근사 오라클이 효율적인 온라인 학습을 지원할 수 있는지에 대한 공식적인 긍정적 답변을 제공하기 위해.

제안 방법

• 이 방법은 철저히 설계된 반복적 업데이트 규칙을 사용하여 온라인 학습에서 오프라인 근사 최적화로의 감소를 수행한다.
• 각 라운드당 대수적으로만 많은 오라클 호출을 사용하면서도 누적 손실 한계를 유지하기 위해 분리 오라클과 이중 평균 프레임워크를 활용한다.
• 알고리즘은 가설에 대한 분포를 유지하고 피드백에 기반하여 이를 업데이트하며, 근사 오라클을 사용하여 효율적으로 근사 최적 해를 계산한다.
• 이 접근법은 시간에 따라 누적 손실이 다항적으로 증가하지 않도록 보장하여, 근사 해를 사용함에도 불구하고 거의 최적의 성능을 달성한다.
• 오라클의 근사 비율과 반복 횟수에 따라 누적 손실을 제한하는 새로운 분석 기법을 도입한다.
• 이 방법은 일반적이며 특정 가설 클래스에 국한되지 않고 다양한 비정확한 학습 문제에 적용 가능하다.

실험 결과

연구 질문

• RQ1 최적화 문제에 대한 효율적인 근사 알고리즘이 온라인 학습을 효율적으로 달성하는 데 사용될 수 있는가?
• RQ2 온라인 학습에서 거의 최적의 누적 손실을 유지하기 위해 각 반복에서 필요한 최소 오라클 호출 수는 얼마인가?
• RQ3 온라인 학습에서 근사 오프라인 최적화로의 감소가 오라클 사용 측면에서 효율적으로 이루어질 수 있는가?
• RQ4 가설 클래스가 볼록 조합에 대해 닫혀 있지 않은 비정확한 학습으로의 확장은 가능한가?
• RQ5 각 반복에서 대수적으로만 많은 오라클 호출을 사용하면서도 거의 최적성을 유지할 수 있는지 여부는?

주요 결과

• 제안된 알고리즘은 각 반복에서 대수적으로만 많은 오라클 호출을 사용하면서도 거의 최적의 누적 손실을 달성하여 이전 방법에 비해 크게 향상되었다.
• 감소 방법은 일반적이며 비정확한 학습 문제에 적용 가능하여, 근사 오라클을 사용한 온라인 학습의 적용 범위를 넓혔다.
• 칼라이와 범팔라, 가르버가 제기한 효율적인 온라인 학습이 근사 오라클을 사용하여 가능할 수 있는지 여부에 대한 열린 질문을 해결하였다.
• 누적 손실 한계는 다항적으로 증가하며 오라클의 근사 비율에 따라 달라지므로 확장성과 효율성이 보장된다.
• 반복적인 비용이 많이 드는 최적화를 피하고 효율적인 오라클 호출에 의존함으로써 계산 효율성을 유지한다.
• 이론적 분석을 통해 근사 해를 사용함에도 불구하고 최적 기준에 매우 가까운 누적 손실을 달성함을 확인하였다.