[논문 리뷰] An Autonomous Negotiating Agent Framework with Reinforcement Learning Based Strategies and Adaptive Strategy Switching Mechanism

Ayan Sengupta, Yasser Mohammad외 1명|arXiv (Cornell University)|2021. 02. 06.

Multi-Agent Systems and Negotiation참고 문헌 3인용 수 12

한 줄 요약

이 논문은 실시간 대상자 행동 분류와 적응형 전략 전환을 통해 단일 협상 중 전략을 동적으로 선택하거나 조합하는 강화학습 기반 전략을 사용하는 자율적 협상 에이전트 프레임워크를 제안한다. 이 프레임워크는 자기 향상 기반의 리뷰어 메커니즘을 포함하여 다양한 협상 도메인에서 최대 488%까지 유틸리티 향상을 기록하며 최신 기술 수준의 에이전트를 크게 능가한다.

ABSTRACT

Despite abundant negotiation strategies in literature, the complexity of automated negotiation forbids a single strategy from being dominant against all others in different negotiation scenarios. To overcome this, one approach is to use mixture of experts, but at the same time, one problem of this method is the selection of experts, as this approach is limited by the competency of the experts selected. Another problem with most negotiation strategies is their incapability of adapting to dynamic variation of the opponent's behaviour within a single negotiation session resulting in poor performance. This work focuses on both, solving the problem of expert selection and adapting to the opponent's behaviour with our Autonomous Negotiating Agent Framework. This framework allows real-time classification of opponent's behaviour and provides a mechanism to select, switch or combine strategies within a single negotiation session. Additionally, our framework has a reviewer component which enables self-enhancement capability by deciding to include new strategies or replace old ones with better strategies periodically. We demonstrate an instance of our framework by implementing maximum entropy reinforcement learning based strategies with a deep learning based opponent classifier. Finally, we evaluate the performance of our agent against state-of-the-art negotiators under varied negotiation scenarios.

연구 동기 및 목표

• 실시간에서의 동적 대상자 행동에 적응하지 못하는 단일 협상 전략의 한계를 해결하기 위해.
• 고정된 풀에서 최적의 전문가 전략을 선택하는 데 도전하는 문제를 해결하기 위해, 특히 풀이 열악하거나 정적일 경우에 대비하여.
• 기본 전략 풀을 평가하고 업데이트하는 자가 향상 메커니즘을 통해 협상 전략의 자율적 개선을 가능하게 하기 위해.
• 기본 전략 세트가 매우 적을 때에도 다양한 협상 시나리오에서 뛰어난 성능을 보이도록 보장하기 위해.
• 자기 유틸리티, 상대 유틸리티, 도메인 벤치마크 등 여러 벤치마크 설정에서 최신 기술 수준의 에이전트에 비해 프레임워크의 우수성을 검증하기 위해.

제안 방법

• 기본 협상 에이전트(예: Boulware, 랜덤, 행동 유형 등)의 입찰 및 수락 전략을 훈련하기 위해 최대 엔트로피 강화학습을 적용한다.
• 딥러닝 기반의 대상자 분류기로 매 시간 단위에서 대상자의 행동을 지속적으로 평가하고 기본 협상 에이전트 유형에 대한 확률을 할당한다.
• 실시간 분류 확률에 기반하여 전략을 선택하거나 조합하거나 전환하는 동적 전략 전환 메커니즘을 구현한다.
• 신규 협상 전략을 주기적으로 평가하고 성능 향상 여부에 따라 기존 전략을 추가하거나 교체할지 결정하는 리뷰어 구성 요소를 통합한다.
• 분류 신뢰도와 기대 유틸리티를 모두 고려하여 전략 선택을 유도함으로써 변화하는 대상자 행동에 적응 가능한 메커니즘을 제공한다.
• 할인 유틸리티 없이, 예약 유틸리티를 0으로 설정하여 표준 협상 조건 하에서 성능을 중점적으로 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 협상 에이전트는 실시간 대상자 분류에 기반하여 단일 협상 세션 동안 여러 전략을 동적으로 전환할 수 있는가?
• RQ2 소규모 초깃값 전략 세트만을 사용할 경우, 제안된 프레임워크가 최신 기술 수준의 에이전트에 비해 얼마나 효과적으로 협상 결과를 향상시키는가?
• RQ3 리뷰어 메커니즘이 협상 에이전트의 장기적 성능 향상에 얼마나 기여하는가?
• RQ4 에이전트의 성능은 다양한 협상 도메인과 대상자 유형에 따라 어떻게 변할 수 있으며, 특히 기준과 비교했을 때 어떻게 되는가?
• RQ5 자기 유틸리티, 상대 유틸리티, 도메인 특화 벤치마크에서 제안된 프레임워크가 기존 에이전트에 비해 달성한 성능 향상의 통계적 유의성은 어떠한가?

주요 결과

• ANAC 2015–2017에서 유출된 47개의 GENIUS 에이전트와 비교해 자기 유틸리티 벤치마크에서 평균 37.4%의 성능 향상을 기록했다.
• 자기 유틸리티 벤치마크와의 47번의 비교 중 30건에서 성능 차이가 통계적으로 유의미했다(p < 0.0011).
• 상대 유틸리티 벤치마크에서 47개 에이전트 중 40개를 능가했으며, 개별 향상률은 1%에서 428%까지 다양했다.
• 18개 도메인 중 13개에서 최고의 벤치마크 점수를 초월했고, 모든 도메인에서 평균 벤치마크를 뛰어넘었으며, 향상률은 10%에서 488%까지 다양했다.
• 도메인 벤치마크에서의 모든 유틸리티 차이가 통계적으로 유의미했다(p < 0.0028), 다양한 협상 환경에서의 뛰어난 일관성과 우수성을 확인했다.
• 리뷰어 메커니즘이 성능 향상에 결정적인 역할을 하였으며, 점진적인 전략 업데이트를 가능하게 하고 불필요한 추가를 방지함으로써 장기적 적응성과 자가 향상을 지원했다.