[논문 리뷰] E-HBA: Using Action Policies for Expert Advice and Agent Typification

Stefano V. Albrecht, Jacob W. Crandall외 1명|arXiv (Cornell University)|2019. 07. 23.

Multi-Agent Systems and Negotiation인용 수 5

한 줄 요약

이 논문은 전문가 알고리즘을 과거 수익성 성능과 유형 기반의 상대 행동 모델로부터 유도된 미래 수익성 예측을 융합함으로써 향상시키는 메타알고리즘 E-HBA를 제안한다. 신뢰도 가중 혼합을 통해 관측된 수익성과 예측된 수익성을 점진적으로 혼합함으로써, 진짜 또는 유사한 상대 유형이 가용할 경우 성능을 크게 향상시키지만, 그 외의 경우 기준 성능을 유지한다.

ABSTRACT

Past research has studied two approaches to utilise predefined policy sets in repeated interactions: as experts, to dictate our own actions, and as types, to characterise the behaviour of other agents. In this work, we bring these complementary views together in the form of a novel meta-algorithm, called Expert-HBA (E-HBA), which can be applied to any expert algorithm that considers the average (or total) payoff an expert has yielded in the past. E-HBA gradually mixes the past payoff with a predicted future payoff, which is computed using the type-based characterisation. We present results from a comprehensive set of repeated matrix games, comparing the performance of several well-known expert algorithms with and without the aid of E-HBA. Our results show that E-HBA has the potential to significantly improve the performance of expert algorithms.

연구 동기 및 목표

• 과거 성능에만 의존하는 전문가 알고리즘의 한계를 해결하기 위해, 이는 적응형 상대에 대해 실패할 수 있다.
• HBA와 같은 유형 기반 방법의 약점을 극복하기 위해, 진짜 상대 유형이 사전 정의된 집합에 포함되어 있지 않을 경우 실패한다.
• 역사적 성능과 예측 모델링을 모두 활용하는 메타알고리즘을 만들어 전문가 및 유형 기반 접근 방식을 통합하기 위해.
• 유형 기반 예측의 신뢰도를 활용해 전문가 선택을 동적으로 조정함으로써 반복 행렬 게임에서의 의사결정을 향상시키기 위해.

제안 방법

• E-HBA는 과거 상호작용에서 각 전문가의 평균 수익성과 상대 행동의 유형 기반 모델에서 유도된 예측 향후 수익성을 결합한다.
• 예측 향후 수익성은 HBA 기반의 계획 절차를 사용하여 계산되며, 이는 집합 내 각 유형에 대해 최적의 대응 행동을 추정한다.
• 신뢰도 점수 $ C^t $ 가 과거 수익성과 예측 수익성의 혼합을 조절하며, 모델이 유형 예측에 더 확신을 갖게 될수록 증가한다.
• 신뢰도는 집합 내 유형들에 대한 관측된 행동과 예측 행동 간의 일관성에 기반하여 계산되며, 점진적인 적응을 가능하게 한다.
• E-HBA는 히지, 익스플3, UCB와 같이 평균 또는 총 수익성 집계를 사용하는 모든 전문가 알고리즘에 메타알고리즘으로 적용될 수 있다.
• 전문가 알고리즘이 향후 상호작용에서 잘 수행될 것으로 예측되는 전문가로 이동할 수 있도록 허용함으로써, 반응형 및 능동형 전략을 모두 지원한다.

실험 결과

연구 질문

• RQ1 과거 성능과 미래 예측을 융합하는 것이 반복 상호작용에서 전문가 알고리즘의 성능을 향상시키는가?
• RQ2 진짜 상대 유형이 유형 집합에 포함되어 있을 때와 아닐 때 E-HBA의 성능은 어떻게 다른가?
• RQ3 신뢰도 추정이 전문가 선택에서 과거 수익성과 예측 수익성의 혼합에 미치는 영향은 무엇인가?
• RQ4 원래 전문가 알고리즘이 이미 강력할 경우 E-HBA는 성능을 유지하는가, 아니면 약한 경우에만 향상되는가?
• RQ5 혼합 및 갈등 게임에서 E-HBA는 순수 전문가 알고리즘과 HBA와 같은 순수 유형 기반 방법을 모두 능가할 수 있는가?

주요 결과

• 진짜 또는 유사한 상대 유형이 유형 집합에 포함된 경우, E-HBA는 전문가 알고리즘의 성능을 크게 향상시켰으며, 최고의 전문가를 능가할지 아니면 뒤지게 될지의 여부를 결정짓는 데 큰 영향을 미쳤다.
• 진짜 유형이 집합에 포함되지 않은 경우, E-HBA는 원래 전문가 알고리즘과 유사하게 성능을 보였으며, 성능 저하를 피하고 HBA처럼 종종 무작위 플레이로 떨어지는 것을 피했다.
• E-HBA는 전문가 선택을 예측적 통찰에 기반해 더 효과적으로 전환할 수 있도록 해, 단일 전문가를 지속적으로 사용하는 것보다 더 높은 평균 수익성을 달성했다.
• 성능 향상의 대가로, 계획 깊이 $ h=5 $ 를 사용할 경우 수정된 알고리즘은 원래 알고리즘보다 약 10배 더 많은 계산 시간을 소비했다.
• 일부 사례, 특히 히지와 익스플3의 경우, E-HBA는 더 나쁜 성능을 보였는데, 이는 총 수익성에 의존하는 방식 때문일 가능성이 높다.
• 진짜 유형이 없더라도 E-HBA는 집합 내 유사한 유형—특히 갈등이 없는 게임에서 CDT 및 CNN 유형—으로부터 유의미한 이점을 얻었으며, 불완전한 유형 커버리지에 대한 강건성을 입증했다.