[논문 리뷰] Exploration vs. Exploitation in Team Formation

Ramesh Johari, Vijay Kamble외 2명|arXiv (Cornell University)|2018. 09. 18.

Mobile Crowdsensing and Crowdsourcing참고 문헌 5인용 수 3

한 줄 요약

이 논문은 온라인 노동 플랫폼에서 팀 구성 시 탐색-이점의 상충 관계를 연구하며, 팀 성과를 구성원 중 가장 낮거나 가장 높은 능력자의 품질로 모델링한다. 적응형 팀 매칭을 위한 1-체인 및 2-체인 알고리즘을 제안하며, p=0.5에서 최적 전략이 뒤바뀌는 것을 보여준다: p<0.5일 땐 1-체인이 더 우수하고, p>0.5일 땐 2-체인이 우세한 데, 이는 저능력 및 고능력 영역에서의 위험도 차이 때문이 다.

ABSTRACT

An online labor platform faces an online learning problem in matching workers with jobs and using the performance on these jobs to create better future matches. This learning problem is complicated by the rise of complex tasks on these platforms, such as web development and product design, that require a team of workers to complete. The success of a job is now a function of the skills and contributions of all workers involved, which may be unknown to both the platform and the client who posted the job. These team matchings result in a structured correlation between what is known about the individuals and this information can be utilized to create better future matches. We analyze two natural settings where the performance of a team is dictated by its strongest and its weakest member, respectively. We find that both problems pose an exploration-exploitation tradeoff between learning the performance of untested teams and repeating previously tested teams that resulted in a good performance. We establish fundamental regret bounds and design near-optimal algorithms that uncover several insights into these tradeoffs.

연구 동기 및 목표

• 온라인 노동 플랫폼에서 능력이 알려지지 않은 노동자 팀을 일자리에 매칭하는 문제를 해결하기 위해.
• 팀 성과가 구성원의 능력에 따라 어떻게 달라지는지 모델링하기 위해, 최약점 및 최강점 두 가지 수익 구조를 고려하여.
• 팀 성과 결과를 통해 노동자 유형을 학습하면서도 위험도를 최소화하는 적응형 매칭 알고리즘을 설계하기 위해.
• 모르는 팀을 학습하는 탐색과 알려진 양호한 팀을 재사용하는 이점 사이의 근본적 상충 관계를 분석하기 위해.
• 위험도의 경계를 유도하고, 팀 구성에 적합한 영역 기반 최적 전략을 규명하기 위해.

제안 방법

• 각 노동자가 확률 p로 높은(1) 또는 낮은(0) 능력을 가지며, 이는 독립적으로 결정된다고 가정한다.
• 팀 규모는 두 명으로, 팀 수익은 구성원 능력 중 최소값(최약점) 또는 최대값(최강점)에 의해 결정된다.
• 개별 노동자 유형은 관측되지 않으며, 팀의 집합적 성과(1 또는 0)만 관측 가능하므로 시간이 지남에 따라 추론이 필요하다.
• 알고리즘은 1-체인 및 2-체인으로 구성되며, 알려진 낮은 능력 조합에 대해 비동기적으로 매칭을 탐색한다.
• 에포크 기반 탐색을 사용: 1-체인은 한 번에 한 쌍씩 테스트하고, 2-체인은 동시에 두 쌍을 테스트하여 정보 수확량을 높인다.
• 위험도 분석은 모든 노동자 유형을 알고 있는 오라클 대비 누적 수익 손실을 비교하여 수행한다.

실험 결과

연구 질문

• RQ1 팀 성과 집계 규칙(최약점 대비 최강점)에 따라 팀 구성에서 탐색과 이점의 최적 균형은 어떻게 달라지는가?
• RQ2 각 수익 모델 하에서 팀 구성에 대한 기본적인 위험도 경계는 무엇인가?
• RQ3 다른 적응형 매칭 전략(1-체인 대비 2-체인)은 노동자 능력 분포가 다양할 때 어떻게 성능을 비교하는가?
• RQ4 고품질 노동자 확률 p가 얼마일 때 1-체인과 2-체인 알고리즘의 상대적 성능이 뒤바뀌는가?
• RQ5 간단한, 단기적 전략이 어떤 영역에서는 최적일 수 있으며, 그 조건은 무엇인가?

주요 결과

• p < 0.5일 경우, 1-체인 알고리즘이 2-체인보다 낮은 위험도를 보이며, 이는 낮은 능력 조합의 누적 수가 적기 때문이다.
• p > 0.5일 경우, 2-체인 알고리즘이 1-체인보다 낮은 위험도를 보이며, 이는 낮은 능력 쌍의 수를 더 효과적으로 줄일 수 있기 때문이다.
• 모든 p ∈ [0,1]에서 1-체인 알고리즘은 두 고능력 노동자 간 매칭 수가 항상 적다.
• p > 0.5일 경우, 2-체인 알고리즘은 1-체인보다 두 저능력 노동자 간 매칭 수가 적다.
• p = 0.5에서 성능이 뒤바뀌는 것은 알고리즘의 내재적 행동에 변화가 있기 때문이 아니라, 위험도 특성의 불연속성 때문이다.
• 단기적 전략는 일부 영역에선 매우 열등할 수 있지만, 다른 영역에선 효과적일 수 있으며, 이는 기초 노동자 능력 분포에 따라 달라진다.