[논문 리뷰] PreferenceNet: Encoding Human Preferences in Auction Design with Deep Learning

Neehar Peri, Michael J. Curry외 2명|arXiv (Cornell University)|2021. 06. 06.

Auction Theory and Applications참고 문헌 39인용 수 8

한 줄 요약

PreferenceNet은 인간이 제공한 선호할 만한 배분 예시를 활용하여 공정성과 같은 사회적으로 바람직한 경매 제약 조건을 인코딩하는 딥러닝 프레임워크이다. 설문조사에서 수집한 인간의 선호 데이터를 기반으로 훈련함으로써, 전략적으로 비공격 가능하고 경쟁 가능한 수익 성능을 유지하면서도 미묘한 실제 세계의 선호를 효과적으로 포착한다.

ABSTRACT

The design of optimal auctions is a problem of interest in economics, game theory and computer science. Despite decades of effort, strategyproof, revenue-maximizing auction designs are still not known outside of restricted settings. However, recent methods using deep learning have shown some success in approximating optimal auctions, recovering several known solutions and outperforming strong baselines when optimal auctions are not known. In addition to maximizing revenue, auction mechanisms may also seek to encourage socially desirable constraints such as allocation fairness or diversity. However, these philosophical notions neither have standardization nor do they have widely accepted formal definitions. In this paper, we propose PreferenceNet, an extension of existing neural-network-based auction mechanisms to encode constraints using (potentially human-provided) exemplars of desirable allocations. In addition, we introduce a new metric to evaluate an auction allocations' adherence to such socially desirable constraints and demonstrate that our proposed method is competitive with current state-of-the-art neural-network based auction designs. We validate our approach through human subject research and show that we are able to effectively capture real human preferences. Our code is available at https://github.com/neeharperi/PreferenceNet

연구 동기 및 목표

• 공정성과 다양성과 같은 사회적으로 바람직한 경매 제약 조건에 대한 표준화되고 형식화된 정의의 부족을 해결하기 위해.
• 데이터 기반으로 인간의 선호를 수용하는 방법을 개발하여, 임의의 형식화된 정의가 아닌 인간의 선호를 경매 메커니즘에 통합하기 위해.
• 윤리적 및 공정성 제약 조건을 통합하면서도 전략적 비공격성과 수익 최적화를 유지하기 위해.
• 인간이 공정성에 대해 가지는 선호가 학습 가능하고 일관성 있는 정도로 충분히 일관된지 검증하기 위해.
• 경매 결과에서 인간이 정의한 제약 조건을 얼마나 잘 준수하는지 측정할 수 있는 새로운 평가 지표를 도입하기 위해.

제안 방법

• 인간이 제공한 바람직한 배분의 예시를 훈련 신호로 사용하는 신경망 기반 경매 메커니즘인 RegretNet을 확장하여 인간의 선호를 통합한다.
• 두 가지 인간 참가자 설문 조사: 첫 번째는 정의된 기준 하에서 인간의 공정성 판단 일관성을 평가하기 위한 것 (n=140), 두 번째는 사전 정의된 공정성 정의 없이 쌍대 비교 선호를 유도하기 위한 것 (n=345).
• 인간 선호 데이터의 노이즈를 시뮬레이션하기 위해 Probit 모델을 적용하며, 결정 경계 근처의 레이블링 불확실성을 모델링하기 위해 정규분포 누적분포함수(CDF)를 사용한다.
• 설문 데이터를 기반으로 PreferenceNet을 훈련하여 그룹의 선호와 일치하는 할당 규칙을 학습하며, 수익과 제약 조건 준수를 동시에 최적화하기 위해 경사하강법을 사용한다.
• 기존 메커니즘의 할당이 학습된 인간 선호와 얼마나 가까운지 측정할 수 있는 새로운 평가 지표를 도입한다.
• PCA와 L2 거리 분석을 활용하여 PreferenceNet의 할당이 표준 공정성 모델(예: TVF, 엔트로피)과 얼마나 유사한지 분석함으로써 인간 직관과의 일치성을 검증한다.

실험 결과

연구 질문

• RQ1 설문 조사 등을 통해 인간의 경매 공정성에 대한 선호를 신뢰성 있게 확보할 수 있으며, 이를 기계학습 모델 훈련에 활용할 수 있는가?
• RQ2 PreferenceNet과 같은 딥러닝 기반 경매 메커니즘은 형식화된 지표에 비해 인간이 정의한 공정성 제약 조건을 얼마나 잘 포착하고 강제로 구현할 수 있는가?
• RQ3 인간의 판단은 어느 정도 노이즈를 포함하고 있으며, 이는 훈련 과정에서 어떻게 모델링하고 완화할 수 있는가?
• RQ4 PreferenceNet은 복잡한 비형식화된 사회적 선호를 통합하면서도 전략적 비공격성과 수익 성능을 유지하는가?
• RQ5 PreferenceNet이 생성한 할당은 표준 공정성 모델(예: 총변동 공정성, 엔트로피 기반 공정성)과 비교해 인간 선호와 얼마나 유사한가?

주요 결과

• 인간의 선호는 노이즈가 있지만 결정 경계 근처에서는 특히 정규분포와 강한 상관관계를 보이며, 이는 훈련 과정에서 확률적 모델링의 타당성을 뒷받침한다.
• PreferenceNet은 사전 정의된 공정성 정의 없이도 쌍대 비교를 통해 인간의 미묘한 선호를 성공적으로 포착한다.
• 모델은 낮은 회피도를 기록하며, 수익성과 전략적 비공격성 측면에서 최신의 신경망 기반 경매 메커니즘과 경쟁하거나 그 이상의 성능을 보인다.
• 인간의 선호는 총변동 공정성(TVF)과 엔트로피 기반 공정성 모델과 가장 유사하지만, 정확히 일치하지는 않으며, 이는 인간의 직관이 더 복잡하다는 것을 시사한다.
• L2 거리 분석을 통해 20,000개의 샘플된 입찰에 대해 확인한 결과, PreferenceNet의 할당은 단일 수요 및 덧셈 경매 설정 모두에서 인간 선호와 통계적으로 구분되지 않는다.
• 실제 인간 데이터를 활용하여 사회적으로 바람직한 제약 조건을 효과적으로 인코딩함으로써, 선호도 추출이 임의의 형식화된 공정성 정의의 대안이 될 수 있음을 입증한다.