[논문 리뷰] Learnable Strategies for Bilateral Agent Negotiation over Multiple Issues

Pallavi Bagga, Nicola Paoletti외 1명|arXiv (Cornell University)|2020. 09. 17.

Multi-Agent Systems and Negotiation인용 수 6

한 줄 요약

이 논문은 사용자 및 상대방 선호도 불확실성 하에서 다중 문제 설정에서 학습 가능하고 적응형이며 해석 가능한 이원적 협상 에이전트인 ANESIA를 제안한다. 전략 템플릿과 학습 가능한 파rameter를 사용하며, 임계 유용도를 최적화하기 위해 딥 강화학습을 활용하고, 사용자 모델 추정을 위해 확률적 탐색(Firefly Algorithm)을 사용하며, 다목적 최적화(NA-NSGA-II)와 다기준 의사결정법(TOPSIS)을 통합하여 근사 페어레토 최적의 입찰을 생성한다. ANESIA는 ANAC 경연에서 상위를 차지한 에이전트들보다 개인 및 사회적 복지 유용도 측면에서 뛰어난 성능을 보였다.

ABSTRACT

We present a novel bilateral negotiation model that allows a self-interested agent to learn how to negotiate over multiple issues in the presence of user preference uncertainty. The model relies upon interpretable strategy templates representing the tactics the agent should employ during the negotiation and learns template parameters to maximize the average utility received over multiple negotiations, thus resulting in optimal bid acceptance and generation. Our model also uses deep reinforcement learning to evaluate threshold utility values, for those tactics that require them, thereby deriving optimal utilities for every environment state. To handle user preference uncertainty, the model relies on a stochastic search to find user model that best agrees with a given partial preference profile. Multi-objective optimization and multi-criteria decision-making methods are applied at negotiation time to generate Pareto-optimal outcomes thereby increasing the number of successful (win-win) negotiations. Rigorous experimental evaluations show that the agent employing our model outperforms the winning agents of the 10th Automated Negotiating Agents Competition (ANAC'19) in terms of individual as well as social-welfare utilities.

연구 동기 및 목표

• 사용자 및 상대방 선호도에 대한 불확실성 하에서 협상 전략을 학습하는 적응형이고 자기 중심적인 에이전트를 개발하는 것.
• 학습 가능한 파rameter를 가진 전략 템플릿 기반의 해석 가능한 협상 방식을 통해 동적 적응을 가능하게 하는 것.
• 확률적 최적화를 통해 부분적인 선호도 프로파일에서 사용자 모델을 추정하여 사용자 선호도 불확실성을 다루는 것.
• 다목적 최적화와 다기준 의사결정법의 통합을 통해 근사 페어레토 최적의 입찰을 생성하는 것.
• 개인 및 사회적 복지 측면에서 최신 자동 협상 경연의 최고 수준 에이전트들을 능가하는 것.

제안 방법

• ANESIA는 전략 템플릿—학습 가능한 파rameter를 가진 조건-행동 규칙 집합—을 사용하여 해석 가능하고 적응 가능한 협상 전략를 표현한다.
• 입찰 수락 및 제안 결정을 위한 동적 임계 유용도를 학습하기 위해 액터-크리틱 딥 강화학습 아키텍처를 사용한다.
• 사용자 유용도 모델을 부분적인 선호도 프로파일에서 추정하기 위해 파이어플라이 알고리즘 기반 메타휴리스틱을 활용하여 불확실성 하에서도 강건성을 확보한다.
• 다목적 최적화(NA-NSGA-II)는 근사 페어레토 최적의 협상 결과 집합을 생성하며, 이를 TOPSIS를 통해 순위 매기고 선택한다.
• 에이전트는 이러한 구성 요소를 통합하여 협상 도중 실시간으로 적응형이며 고유용도의 입찰을 생성한다.
• 모델은 GENIUS 도구와 ANAC 토너먼트 환경에서의 도메인을 사용한 시뮬레이션을 통해 평가된다.

실험 결과

연구 질문

• RQ1 사용자 및 상대방 선호도에 대한 불확실성 하에서 효과적이고 해석 가능한 협상 전략을 학습할 수 있는 협상 에이전트는 가능한가?
• RQ2 딥 강화학습과 메타휴리스틱의 통합이 다중 문제 협상 환경에서 협상 성능을 어떻게 향상시키는가?
• RQ3 ANESIA는 개인 및 사회적 복지 지표 측면에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 NSGA-II와 TOPSIS의 조합은 근사 페어레토 최적의 협상 결과를 생성하는 데 얼마나 효과적인가?
• RQ5 알 수 없는 상대방이 등장하는 새로운 협상 시나리오에서도 에이전트는 강력한 성능을 유지하는가?

주요 결과

• ANESIA는 Itex 및 Outfit 도메인에서 ANAC’17, ANAC’18, ANAC’19의 수상 에이전트들을 개인 및 사회적 복지 유용도 측면에서 모두 능가했다.
• 10%의 결과 공간을 가진 Itex 도메인에서 ANESIA는 사회적 복지 유용도 0.75를 기록했으며, AgentGP(0.83)와 FSEGA2019(0.96)를 뛰어넘었지만 평균 보상은 높았다.
• 5%의 결과 공간을 가진 Outfit 도메인에서 ANESIA는 사회적 복지 유용도 0.70을 달성했으며, AgentGP(0.69)와 FSEGA2019(0.96)를 능가했고 성공률 0.74를 기록했다.
• ANESIA는 높은 적응성을 보였으며, Itex 도메인에서 0.75의 성공률, Outfit 도메인에서 0.74의 성공률를 기록했으며, 알 수 없는 상대방과의 협상에서도 성능을 유지했다.
• 절단 실험 결과, ANESIA-rand(랜덤 전략)는 Itex에서 0.75의 성공률, Outfit에서 0.70의 성공률를 기록하여 핵심 아키텍처가 완전한 학습 없이도 효과적임을 시사했다.
• 파이어플라이 알고리즘을 통한 사용자 모델 추정과 TOPSIS를 통한 결과 선택의 통합은 유용도 향상과 승자-승자 결과로의 수렴을 크게 향상시켰다.