[논문 리뷰] Bayesian active learning for choice models with deep Gaussian processes

Jie Yang, Diego Klabjan|arXiv (Cornell University)|2018. 05. 04.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 3

한 줄 요약

이 논문은 깊이 있는 가우시안 프로세스(DGP)와 감마 분포를 가진 노이즈를 사용하여 개인의 선호를 이원 비교에서 모델링하는 베이지안 주도 학습 프레임워크를 제안한다. 새로운 할당 함수를 도입함으로써, 최소한의 질의로 가장 선호되는 선택지를 효율적으로 식별할 수 있으며, 합성 함수와 실재의 항공사 일정 데이터셋 모두에서 기준 모델을 능가한다. 특히 계산 비용이 제약이 되지 않는 경우에 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose an active learning algorithm and models which can gradually learn individual's preference through pairwise comparisons. The active learning scheme aims at finding individual's most preferred choice with minimized number of pairwise comparisons. The pairwise comparisons are encoded into probabilistic models based on assumptions of choice models and deep Gaussian processes. The next-to-compare decision is determined by a novel acquisition function. We benchmark the proposed algorithm and models using functions with multiple local optima and one public airline itinerary dataset. The experiments indicate the effectiveness of our active learning algorithm and models.

연구 동기 및 목표

• 개인의 가장 선호되는 선택지를 식별하기 위해 필요한 이원 비교의 수를 최소화하는 주도 학습 알고리즘을 개발하는 것.
• 이중 로짓과 같은 이산 선택 모델의 가정에 부합하는 깊이 있는 가우시안 프로세스에 감마 분포를 가진 노이즈를 사용하여 개인의 선호를 모델링하는 것.
• 선호 공간에서 탐색과 이용의 균형을 맞추기 위해 정보 수확을 극대화하는 새로운 할당 함수를 설계하는 것.
• 다양한 국소 최적값을 가진 합성 함수와 실세계의 항공사 일정 데이터셋에 대해 방법을 평가하는 것.
• 질의 수와 계산 자원 제약 조건이 변화할 때 깊이 있는 가우시안 프로세스 모델(DC-DGP)이 표준 가우시안 프로세스 모델(DC-GP)과 무작위 탐색에 비해 성능가 비교하는 것.

제안 방법

• 선택 특징에 대한 깊이 있는 가우시안 프로세스(DGP) 사전분포를 사용하여 잠재 유틸리티를 모델링함으로써, 선형 유틸리티 함수를 초월한 비선형 선호 모델링이 가능하다.
• 이원 비교는 감마 분포를 가진 노이즈를 갖는 확률적 모델을 사용하여 인코딩되며, 이는 이중 로짓과 일반화된 극단가치(gev) 선택 모델의 가정을 지원한다.
• 서로 다른 선택지 간의 상관 관계를 고려하기 위해, 이원 비교의 결합 분포를 독립성을 가정하지 않고 모델링한다.
• 선호 공간에서 탐색과 이용의 균형을 맞추기 위해 다음으로 비교할 이원 쌍을 선택하는 데 사용되는 새로운 할당 함수를 제안한다.
• 알고리즘은 정보가 가장 많은 이원 비교를 순차적으로 질의하고, 베이지안 추론을 통해 잠재 유틸리티에 대한 사후 분포를 업데이트한다.
• 제안된 함수의 대안으로 적응형 UCB 및 기타 할당 전략을 평가하여 다양한 질의 예산에서의 강인성을 확보한다.

실험 결과

연구 질문

• RQ1 감마 노이즈를 가진 깊이 있는 가우시안 프로세스는 선택 실험에서 복잡한 비선형 개인 선호 구조를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 할당 함수는 UCB나 무작위 선택과 같은 표준 전략보다 최적의 선택지를 찾기 위해 필요한 질의 수를 줄이는 데 뛰어난가?
• RQ3 다양한 특징 차원과 질의 예산에서 DC-DGP 모델의 성능 및 계산 비용은 DC-GP 모델과 어떻게 비교되는가?
• RQ4 더 깊은 DGP 아키텍처(예: DC-DGP5)는 더 단순한 모델(예: DC-DGP1)보다 어떤 상황에서 뚜렷한 성능 향상을 제공하는가?
• RQ5 실세계 데이터, 예를 들어 543개의 인스턴스와 17차원의 특징을 가진 항공사 일정 데이터셋에서 이 방법은 어떻게 확장되는가?

주요 결과

• 항공사 데이터셋에서 DC-DGP5 모델은 20회의 질의 내에 최적의 일정을 찾는 데 가장 뛰어난 성능을 보였으며, DC-DGP1 및 DC-GP를 능가했다.
• 고차원 문제(17차원)에서는 제안된 할당 함수가 첫 15회의 질의 동안 적응형 UCB를 능가했지만, 그 이후에는 성능이 떨어졌다.
• 계산 시간이 중요한 경우, 특히 고차원 또는 시간에 민감한 환경에서는 DC-GP 모델에 적응형 UCB를 조합하는 것이 권장된다.
• 저차원 또는 시간 제약이 있는 상황(예: 2차원)에서는 DC-GP 모델에 적응형 UCB를 사용할 경우 빠름과 정확도 사이의 우수한 트레이드오프를 확보할 수 있다.
• 더 많은 질의가 허용되고 높은 정확도가 필요할 경우, DC-DGP1 모델에 적응형 UCB를 사용하는 것이 바람직하다.
• 계산 비용이 제약이 되지 않으며, 최소한의 질의만 허용되는 경우, 제안된 할당 함수를 사용하는 DC-DGP5 모델이 최적의 성능을 발휘한다.