[논문 리뷰] Run2Survive: A Decision-theoretic Approach to Algorithm Selection based on Survival Analysis

Alexander Tornede, Marcel Wever외 3명|arXiv (Cornell University)|2020. 07. 06.

Machine Learning and Algorithms참고 문헌 12인용 수 6

한 줄 요약

이 논문은 이른바 타임아웃을 방지하기 위해 위험 회피 전략을 우선시하는 결정 이론적 알고리즘 선택 프레임워크인 Run2Survive를 제안한다. 이 프레임워크는 생존 분석을 활용하여 캐논된 알고리즘 런타임 데이터를 모델링함으로써, 다양한 문제 영역에서 26개의 ASlib 시나리오에서 최신 기술 수준의 성능을 달성하며 중앙값 및 평균 정규화된 PAR10 점수에서 뛰어난 성능을 보였다.

ABSTRACT

Algorithm selection (AS) deals with the automatic selection of an algorithm from a fixed set of candidate algorithms most suitable for a specific instance of an algorithmic problem class, where "suitability" often refers to an algorithm's runtime. Due to possibly extremely long runtimes of candidate algorithms, training data for algorithm selection models is usually generated under time constraints in the sense that not all algorithms are run to completion on all instances. Thus, training data usually comprises censored information, as the true runtime of algorithms timed out remains unknown. However, many standard AS approaches are not able to handle such information in a proper way. On the other side, survival analysis (SA) naturally supports censored data and offers appropriate ways to use such data for learning distributional models of algorithm runtime, as we demonstrate in this work. We leverage such models as a basis of a sophisticated decision-theoretic approach to algorithm selection, which we dub Run2Survive. Moreover, taking advantage of a framework of this kind, we advocate a risk-averse approach to algorithm selection, in which the avoidance of a timeout is given high priority. In an extensive experimental study with the standard benchmark ASlib, our approach is shown to be highly competitive and in many cases even superior to state-of-the-art AS approaches.

연구 동기 및 목표

• 타임아웃으로 인해 런타임이 완전히 관측되지 못하는 캐논된 훈련 데이터 문제를 해결하기 위해.
• 임의의 보정이나 기각보다는 생존 분석을 사용하여 통계적으로 타당한 방식으로 캐논된 데이터를 다루는 이론적으로 탄탄한 접근법을 개발하기 위해.
• 기대 런타임을 최소화하는 것보다 타임아웃을 방지하는 것을 우선시하는 위험 회피적 알고리즘 선택 전략을 설계하기 위해.
• 다양한 문제 영역과 알고리즘 세트를 포함하는 포괄적인 벤치마크 세트에서 제안된 방법을 평가하기 위해.
• 생존 기반 모델이 기존의 회귀나 분류 접근법보다 알고리즘 선택에서 더 나은 의사결정을 가능하게 함을 입증하기 위해.

제안 방법

• 통계적으로 타당한 방식으로 캐논된 데이터를 포착하기 위해 생존 분석, 특히 누적 위험 함수(Cumulative Hazard Function, CHF)를 사용하여 알고리즘 런타임 분포를 모델링하기 위해.
• 캐논된 런타임 데이터로부터 인스턴스 및 알고리즘 별 생존 분포를 추정하기 위해 랜덤 생존 숲(Random Survival Forest)을 사용하기 위해.
• 기대 런타임과 위험 회피적 결정보정 기준을 기반으로 정적 및 동적 알고리즘 스케줄을 구성하기 위해.
• 모델 최적화를 실용적 성능 지표인 PAR10 점수와 일치시키기 위해 PAR10 점수에 맞춰진 서브티튜트 손실 함수를 적용하기 위해.
• 타임아웃 발생 확률을 최소화하는 알고리즘 선택 전략을 우선시하여 위험 회피적 입장을 반영하기 위해.
• 불확실성 하에서 선택기의 결정을 이끌기 위해 생성적 런타임 모델을 결정보정 이론 프레임워크에 통합하기 위해.

실험 결과

연구 질문

• RQ1 생존 분석은 알고리즘 선택에서 캐논된 알고리즘 런타임 데이터를 효과적으로 모델링하는 데 적용될 수 있는가?
• RQ2 생존 모델 기반의 위험 회피적 결정보정 전략은 표준 알고리즘 선택 접근법보다 어떻게 다를까?
• RQ3 캐논된 데이터를 적절히 다루는 것이 알고리즘 선택 모델의 강건성과 정확도를 얼마나 향상시키는가?
• RQ4 제안된 Run2Survive 프레임워크는 다양한 알고리즘 선택 벤치마크에서 최신 기술 수준의 방법들을 능가하는가?
• RQ5 PAR10 점수에 맞춰진 서브티튜트 손실 함수의 사용이 모델 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• Run2Survive는 모든 26개의 ASlib 벤치마크 시나리오에서 평균 순위가 가장 높아 전체적으로 뛰어난 경쟁력을 보였다.
• 메디안 및 평균 정규화된 PAR10 점수에서 가장 낮은 수준을 기록하여 문제 인스턴스 전반에서 평균적으로 뛰어난 성능을 보였다.
• 26개 시나리오 중 최대 13개에서 Run2Survive가 최고 성능을 기록하여 특정 문제 영역에서 일관된 슈퍼리오리티를 보였다.
• 캐논된 데이터를 기각하거나 보정하는 표준 방법들은 과도하게 낙관적인 모델을 도출하는 것으로 밝혀졌고, 이에 비해 Run2Survive는 그에 비해 뚜렷이 뛰어난 성능을 보였다.
• 생존 분석 기반 모델링은 기존의 회귀나 분류 모델보다 더 풍부하고 신뢰할 수 있는 런타임 분포 추정을 제공한다.
• 위험 회피 전략은 타임아웃 발생 가능성을 효과적으로 감소시켜 실제 운영 환경에서 타임아웃이 매우 해로운 점을 고려한 요구사항과 잘 부합한다.