[논문 리뷰] Learning Combinatorial Functions from Pairwise Comparisons

Maria-Florina Balcan, Ellen Vitercik외 1명|arXiv (Cornell University)|2016. 05. 30.

Machine Learning and Algorithms참고 문헌 13인용 수 5

한 줄 요약

이 논문은 상대적 선호 질의만을 사용하여 조합 함수—예를 들어, 하위모듈라, XOS, 하위가소, 커버리지, 푸리에-스parser 함수—의 효율적인 추론을 가능하게 하는 새로운 학습 프레임워크를 제안한다. 이는 쌍별 비교를 통해 이루어지며, 증명 가능한 분리 인자로 이러한 함수들이 비교기반 학습(comparator-learned) 가능하며, 특히 낮은 곡률 또는 푸리에 스파arsity와 같은 구조적 성질이 존재할 경우 최적 또는 거의 최적의 표본 복잡도와 실행 시간을 달성한다.

ABSTRACT

A large body of work in machine learning has focused on the problem of learning a close approximation to an underlying combinatorial function, given a small set of labeled examples. However, for real-valued functions, cardinal labels might not be accessible, or it may be difficult for an expert to consistently assign real-valued labels over the entire set of examples. For instance, it is notoriously hard for consumers to reliably assign values to bundles of merchandise. Instead, it might be much easier for a consumer to report which of two bundles she likes better. With this motivation in mind, we consider an alternative learning model, wherein the algorithm must learn the underlying function up to pairwise comparisons, from pairwise comparisons. In this model, we present a series of novel algorithms that learn over a wide variety of combinatorial function classes. These range from graph functions to broad classes of valuation functions that are fundamentally important in microeconomic theory, the analysis of social networks, and machine learning, such as coverage, submodular, XOS, and subadditive functions, as well as functions with sparse Fourier support.

연구 동기 및 목표

• 인간 전문가로부터 정량적 레이블(실수값 평가)을 확보하는 것이 어려우거나 불가능한 상황에서 조합 함수 학습 문제를 해결하고자 한다.
• 정확한 값을 추정하는 것보다 두 집합 중 어느 쪽의 함수 값이 더 높은지를 예측하는 것을 목표로 하는 쌍별 비교 기반 학습 모델을 개발하고자 한다.
• 표본 복잡도와 오차에 대해 증명 가능한 보장을 갖는 다양한 종류의 조합 함수를 비교기반으로 학습할 수 있는 일반적인 알고리즘 프레임워크를 수립하고자 한다.
• 함수 값 간의 곱셈적 또는 덧셈적 분리 인자가 있을 때 이러한 학습이 가능해지는 조건을 규명하고자 한다.
• 곡률, SUM 트리의 수, 또는 푸리에 도메인에서의 스파arsity와 같은 구조적 성질이 제안된 프레임워크의 학습 가능성과 효율성에 미치는 영향을 탐색하고자 한다.

제안 방법

• 논문은 PAC 학습과 유사한 비교기반 학습 가능성 모델을 정의하며, 이는 입력 분포에 대해 고확률로 두 집합 간의 비교를 올바르게 예측해야 한다는 조건을 포함한다.
• 이전 연구에서의 근사 결과를 활용하는 일반적인 알고리즘 프레임워크를 제안하며, 특히 선형 함수의 거듭제곱에 의한 함수의 곱셈적 근사 결과를 활용한다.
• 푸리에 스파arsity를 갖는 함수의 경우, 푸리에 분석과 다항 시간 알고리즘을 활용해 소수의 쌍별 질의로부터 비교기반 함수를 재구성한다.
• 하위모듈라 및 XOS 함수의 경우, 곡률 분석과 선형 성분으로의 구조적 분해를 통해 필요한 분리 인자를 제한한다.
• 덧셈 오차 설정에서는 균일 분포를 가정하고, XOS 및 단조 하위모듈라 함수의 스펙트럼 성질을 활용하여 유한한 오차를 달성한다.
• 특히 커버리지 함수의 경우 효율적인 경험 위험 최소화 오라클을 통합하여 표본 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 정량적 레이블이 아닌 쌍별 비교 피드백만 제공되는 상황에서 조합 함수를 효과적으로 학습할 수 있는가?
• RQ2 다양한 함수 클래스에 걸쳐 정확한 비교기반 학습을 가능하게 하는 데 필요한 최소 곱셈적 또는 덧셈적 분리 인자는 무엇인가?
• RQ3 하위모듈라 함수의 곡률이나 푸리에 도메인에서의 스파arsity와 같은 구조적 성질이 비교기반 학습의 표본 복잡도와 오차 한계에 어떤 영향을 미치는가?
• RQ4 일부 함수 클래스에 대해서는 분리 인자가 없이(즉, 완벽한 비교 예측이 가능해지며), 이러한 경우는 어떤 조건에서 성립하는가?
• RQ5 비교기반 학습 가능한 하위모듈라 함수에 대해 가능한 가장 날카로운 분리 인자는 무엇이며, 문제 크기와 어떻게 척도가 변하는가?

주요 결과

• 하위모듈라 함수는 곱셈적 분리 인수 $ O(\tilde{\theta}(\text{poly}(n))) $ 로 비교기반 학습 가능하며, 상한은 $ O(\tilde{\theta}(\text{poly}(n))) $ 이고, 거의 매칭되는 하한은 $ \tilde{\theta}(n^{1/3}) $ 이며, 이는 거의 최적의 트레이드오프를 나타낸다.
• XOS 및 하위가소 함수는 분리 인수 $ \tilde{\theta}(\tilde{\theta}(\text{poly}(n))) $ 로 비교기반 학습 가능하며, 둘 다 $ \tilde{O}(n/\tilde{\theta}(\text{poly}(n))) $ 개의 표본이 필요하다.
• 곡률 $ \tilde{\theta} $ 를 갖는 하위모듈라 함수의 경우, 분리 인수는 $ O(\min\{\sqrt{n}, \frac{1}{1-\kappa}\}) $ 로 향상되며, $ \kappa \to 0 $ 일 때 1에 수렴하여 거의 추가적인 함수에 가까운 학습 성능을 보인다.
• R개의 SUM 트리를 갖는 XOS 함수는 분리 인수 $ O(R^\xi) $ 를 갖는다 (일부 $ \xi > 0 $), 표본 복잡도는 $ \tilde{O}(n^{1/\xi}/\epsilon^3) $ 이며, 이는 더 높은 구조적 스파arsity로 성능 향상을 보여준다.
• 최대 $ k $ 개의 비영성분과 $ \mathcal{P} $ 내에서 지원되는 푸리에-스파르스 함수는 분리 인수가 없이 비교기반 학습 가능하며, 표본 수는 $ \tilde{O}(|\mathcal{P}|^k/\epsilon^2) $ 이고 실행 시간 역시 이에 비례한다.
• 커버리지 함수는 경험 위험 최소화 오라클을 통한 선형 분리자 접근이 가능할 경우, 곱셈적 분리 인수 $ 1+\epsilon $ 를 갖는다. 이 경우 $ \tilde{O}(n^3/\epsilon^5) $ 개의 질의가 필요하다.