[논문 리뷰] Statistical discrimination in learning agents

Edgar A. Duéñez‐Guzmán, Kevin R. McKee외 10명|arXiv (Cornell University)|2021. 10. 21.

Evolutionary Game Theory and Cooperation인용 수 1

한 줄 요약

이 논문은 정보 처리 제약 조건과 에이전트 아키텍처가 사회적 파트너 선택에서 통계적 차별에 어떤 영향을 미치는지 연구하기 위해 다중 에이전트 강화학습 프레임워크를 제안한다. 훈련 환경이 편향되어 있을 경우 모든 에이전트 아키텍처가 상당한 통계적 차별을 보이지만, 순환 신경망(LSTM)은 시간에 걸쳐 개인 수준의 정보를 더 잘 통합함으로써 편향을 감소시킴을 보여주며, 이는 아키텍처 설계가 학습된 차별을 완화하는 데 기여할 수 있음을 시사한다.

ABSTRACT

Undesired bias afflicts both human and algorithmic decision making, and may be especially prevalent when information processing trade-offs incentivize the use of heuristics. One primary example is extit{statistical discrimination} -- selecting social partners based not on their underlying attributes, but on readily perceptible characteristics that covary with their suitability for the task at hand. We present a theoretical model to examine how information processing influences statistical discrimination and test its predictions using multi-agent reinforcement learning with various agent architectures in a partner choice-based social dilemma. As predicted, statistical discrimination emerges in agent policies as a function of both the bias in the training population and of agent architecture. All agents showed substantial statistical discrimination, defaulting to using the readily available correlates instead of the outcome relevant features. We show that less discrimination emerges with agents that use recurrent neural networks, and when their training environment has less bias. However, all agent algorithms we tried still exhibited substantial bias after learning in biased training populations.

연구 동기 및 목표

• 정보 처리 제약 조건과 에이전트 아키텍처가 사회적 의사결정에서 통계적 차별에 어떻게 영향을 미치는지 조사하기.
• 결과에 관련된 특성보다는 쉽게 확보 가능한 사회적 신호에 기반한 히ュ리스틱의 발생을 모델링하기.
• 아키텍처 선택(예: LSTM 대비 피드포워드 네트워크)이 학습된 편향의 정도에 영향을 미치는지 테스트하기.
• 환경적 편향 감소가 학습 에이전트의 학습 정책에 어떤 영향을 미치는지 탐색하기.
• 분산적이고 순차적인 사회적 상호작용에서 편향을 이해하기 위한 이론적 및 실증적 프레임워크 기여하기.

제안 방법

• 파트너 선택과 결과 피드백 기능을 갖춘 시간적·공간적으로 확장된 다중 에이전트 강화학습 환경 개발.
• 에이전트가 숨겨진 결과 관련 특성과 상관관계가 있는 눈에 보이는 특성(예: 색상)을 바탕으로 파트너를 선택해야 하는 사회적 딜레마 설계.
• 다양한 아키텍처를 가진 에이전트를 훈련: 피드포워드 네트워크와 순환 신경망(LSTM)을 비교하여 학습 동역학 분석.
• 훈련 집단의 편향과 에이전트 아키텍처가 차별에 미치는 영향을 예측하기 위해 이론적 모델 사용.
• 에이전트가 눈에 보이는 특성에 더 의존하는 정도를 측정하여 통계적 차별을 정의.
• 환경적 편향과 에이전트의 정보 처리 능력 수준을 다양하게 설정하여 정책 평가.

실험 결과

연구 질문

• RQ1 에이전트 아키텍처(예: 피드포워드 대비 LSTM)가 파트너 선택에서 통계적 차별의 발생에 어떻게 영향을 미치는가?
• RQ2 훈련 집단의 편향이 학습 에이전트의 차별적 행동에 어느 정도 영향을 미치는가?
• RQ3 환경적 편향을 줄이면 학습 에이전트의 정책에서 비례적으로 더 적은 차별이 발생하는가?
• RQ4 순환 아키텍처를 가진 에이전트는 개인 수준의 정보를 더 잘 통합하여 히ュ리스틱 신호에 대한 의존도를 줄일 수 있는가?
• RQ5 순차적이고 경험 기반의 학습 동역학은 통계적 차별의 지속성에 어떻게 영향을 미치는가?

주요 결과

• 모든 에이전트 아키텍처가 눈에 보이는 특성에 더 의존하여 결과에 관련된 특성보다 상당한 통계적 차별을 보였다.
• 순환 신경망 에이전트(LSTM)는 피드포워드 네트워크보다 통계적 차별이 유의미하게 감소함을 보였다.
• 환경적 편향 감소 폭이 작을수록 에이전트의 차별 감소 비율도 비례적으로 작아졌으며, 이는 비선형 반응을 시사한다.
• LSTM을 사용한 에이전트는 시간에 걸쳐 개인 수준의 정보를 학습하여 더 정확한 파트너 선택이 가능했다.
• 결과는 파트너를 무작위로 샘플링하는 것이 베팅 헤지 행동을 유도하며, 이로 인해 에이전트가 신호 신뢰도에 더 민감해짐을 지지한다.
• 결과는 이중 처리 이론과 모델 기반 강화학습과 일치하며, 순환 처리가 더 성찰적이고 덜 편향된 결정을 지원함을 시사한다.