[논문 리뷰] Learning Optimal Search Algorithms from Data.

Shuchi Chawla, Evangelia Gergatsouli외 3명|arXiv (Cornell University)|2019. 11. 05.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 비구조적 공간에서 비용이 알려져 있지 않은 상황에서 해의 비용과 탐색 시간의 합을 최소화하는 부분적으로 적응 가능한 탐색 알고리즘을 데이터 기반 프레임워크로 제안한다. 이는 이러한 전략이 표본에서 효율적으로 학습될 수 있음을 보이며, 비적응 전략과 완전히 적응 가능한 전략을 모두 근사할 수 있음을 보여준다. 특히 후자는 계산적으로 어렵게 학습되는 경우조차도 가능하다.

ABSTRACT

Classical algorithm design is geared towards worst case instances and fails to exploit structure that may be present in typical instances. Is it possible to learn this structure from examples and exploit it algorithmically? We study this question in the simplest algorithmic context -- search for a cheap solution within an unstructured space. This setting captures, for example, search for a short path to drive to work when only some routes may ever be relevant to consider, or shopping online when there may only be a handful of stores that offer the best prices. We propose a framework for learning optimal search algorithms from data that captures the tradeoff between the cost of the solution and the time to find it. We consider a setting with $n$ alternatives each having an unknown cost that can be revealed one at a time. Given sample access to the distribution of the costs, our goal is to learn an algorithm that minimizes the expected sum of the cost of the chosen alternative and the total time to find it. Algorithms for this problem fall into three different classes, non-adaptive which always query a fixed set of alternatives, partially-adaptive that query alternatives in a fixed order until they decide to stop and fully-adaptive that choose the next query based on the costs they've seen. While approximately optimal fully-adaptive strategies cannot be learned efficiently, our main result is that it is possible to learn a partially-adaptive strategy that approximates the best non-adaptive and partially-adaptive strategies efficiently both in terms of samples and computation. We extend our results to settings where multiple alternatives must be chosen and study the case where any $k$ alternatives are feasible and the case where the alternatives must form a matroid base e.g. picking a minimum cost spanning tree.

연구 동기 및 목표

• 고전적 알고리즘 설계의 한계를 다루기 위해, 최악의 경우 성능에 집중하고 일반적인 인스턴스의 구조를 忽시하는 것.
• 일반적인 인스턴스의 통계적 구조를 활용하여 탐색 효율성을 향상시키는 학습 기반 접근 방식을 설계하기 위해.
• 비용이 알려져 있지 않은 비구조적 탐색 공간에서 해의 비용과 탐색 시간의 기대합을 최소화하기 위해.
• 최적의 비적응 전략과 완전히 적응 가능한 전략을 근사하는 부분적으로 적응 가능한 전략을 효율적으로 학습하는 방법을 개발하기 위해.
• 마트로이드 기반 제약 조건(예: 최소 스패닝 트리)이 있는 다중 대안 설정으로 프레임워크를 확장하기 위해.

제안 방법

• 비용이 하나씩 순차적으로 공개되는 탐색을 순차적 의사결정 문제로 모델링한다.
• 비용 분포에 대한 표본 액세스를 활용하여 조기 정지를 포함한 고정된 질의 순서를 학습함으로써 부분적으로 적응 가능한 전략을 형성한다.
• 후보 전략에 대한 경험적 리스크 최소화를 통해 해의 비용과 해에 도달하는 데 소요되는 시간 사이의 트레이드오프를 최적화하는 학습 과정을 수행한다.
• 약간 최적의 완전히 적응 가능한 전략은 효율적으로 학습될 수 없음을 증명하여 부분적으로 적응 가능한 전략에 집중하는 것이 타당함을 입증한다.
• 비적응 전략과 부분적으로 적응 가능한 정책을 근사하는 데 표본 효율적인 알고리즘을 활용한다.
• 마트로이드 기반 기저나 k-가능한 선택과 같은 조건이 요구되는 다중 대안 설정으로 일반화된다.

실험 결과

연구 질문

• RQ1 최악의 경우 가정 대신 일반적인 인스턴스의 구조를 활용하는 데이터 기반 탐색 알고리즘을 학습할 수 있는가?
• RQ2 최적의 비적응 전략과 완전히 적응 가능한 전략을 효율적으로 근사하는 부분적으로 적응 가능한 전략을 학습할 수 있는가?
• RQ3 비구조적 탐색 공간에서 이러한 전략을 학습할 경우 표본 복잡도와 계산 복잡도는 어떻게 되는가?
• RQ4 학습된 부분적으로 적응 가능한 전략의 성능 보장은 비적응 전략과 완전히 적응 가능한 전략에 비해 어떻게 비교되는가?
• RQ5 마트로이드 기반 기저와 같은 조합 제약 조건이 있는 다중 대안 선택 문제로 프레임워크를 확장할 수 있는가?

주요 결과

• 부분적으로 적응 가능한 전략는 표본에서 효율적으로 학습될 수 있으며, 최적의 비적응 전략과 부분적으로 적응 가능한 전략을 근사할 수 있다.
• 약간 최적의 완전히 적응 가능한 전략는 효율적으로 학습될 수 없음을 증명하여 학습 가능성에 대한 본질적인 한계를 설정한다.
• 제안된 방법은 해의 비용과 탐색 시간을 균형 잡는 전략을 학습함에 있어 표본 효율성과 계산 효율성을 확보한다.
• 프레임워크는 다중 대안 설정으로 성공적으로 확장되었으며, 임의의 k개의 대안이 가능하거나 대안들이 마트로이드 기저를 형성해야 하는 경우도 포함된다.
• 관측된 비용에 따라 동적으로 적응함으로써 학습된 전략는 비적응 접근 방식보다 성능이 뛰어나 기대 총비용을 개선한다.