[논문 리뷰] Dynamic value alignment through preference aggregation of multiple objectives

Marcin Korecki, Damian Dailisan외 1명|arXiv (Cornell University)|2023. 10. 09.

Autonomous Vehicle Technology and SafetyEngineering인용 수 3

한 줄 요약

이 논문은 다중 목표 간의 선호도 집계를 통해 강화학습 에이전트의 동적 가치 정렬 방법을 제안한다. 이는 인간의 선호도 변화에 실시간으로 대응할 수 있도록 해주며, 보상 해킹을 방지하고 속도, 정지 횟수, 대기 시간 등 다양한 성능 지표 간 균형을 이루는 데 성공한다. 단일 목표 최적화에 치중한 기존 방법은 공정성에 악영향을 줄 수 있으나, 본 방법은 이러한 문제를 해결한다.

ABSTRACT

The development of ethical AI systems is currently geared toward setting objective functions that align with human objectives. However, finding such functions remains a research challenge, while in RL, setting rewards by hand is a fairly standard approach. We present a methodology for dynamic value alignment, where the values that are to be aligned with are dynamically changing, using a multiple-objective approach. We apply this approach to extend Deep $Q$-Learning to accommodate multiple objectives and evaluate this method on a simplified two-leg intersection controlled by a switching agent.Our approach dynamically accommodates the preferences of drivers on the system and achieves better overall performance across three metrics (speeds, stops, and waits) while integrating objectives that have competing or conflicting actions.

연구 동기 및 목표

• 고정된 최적화 목표로 인해 정책이 잘못 정렬되거나 불공정해질 수 있는 강화학습에서 정적 보상 함수의 문제를 해결하기 위해.
• 실생활 제어 시스템(예: 교차로)에서 인간의 선호도 변화에 실시간으로 동적으로 대응할 수 있는 AI 에이전트를 가능하게 하기 위해.
• 참여적 투표를 통해 상충되는 다중 목표(예: 속도, 정지 횟수, 대기 시간)를 집계하여 공정성과 종합적 시스템 성능을 향상시키기 위해.
• 다양한 목표를 통합한 투표 기반 접근이 단일 목표 보상 조정보다 우수하며, 특히 열악한 또는 불공정한 해법을 피할 수 있음을 입증하기 위해.
• 고정된 보상 설계나 알고리즘적 독재의 단점을 피하면서도 확장 가능하고 분산된 가치 정렬 방법을 탐색하기 위해.

제안 방법

• 각 목표(예: 정지 횟수 최소화, 대기 시간 최소화)에 대해 별도의 딥 Q-네트워크(DQNs)를 훈련시켜 딥 Q-러닝을 확장한다.
• 각 결정 단계에서 시뮬레이션된 운전자(다양한 사용자 그룹을 대표)의 선호도를 비례 투표 방식으로 수집하여 어느 목표가 우선시되어야 할지 결정한다.
• 모든 목표의 Q-값을 가중치 합산하여 최종 행동을 선택하며, 가중치는 각 목표에 대한 투표 비율에 의해 결정된다.
• 비례 대표제를 사용해 단순 다수결 투표에서 흔히 발생하는 '다数의 폭력'과 '무효 투표' 문제를 줄인다.
• 잘못 설정되었을 경우 정렬 오류가 발생할 수 있는 고정된 보상 가중치를 사전에 설정할 필요가 없도록 한다.
• 실시간 사용자 선호도에 따라 동적으로 변화하는 목표 가중치를 적용하기 위해, 두 레그 교차로 환경에서 시뮬레이션된 환경에서 평가한다.

Figure 1: Two-way intersection controlled by an RL agent. The agent controls which direction has a green signal at any given time.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 다중 목표 제어 시스템에서 인간의 선호도 변화에 실시간으로 동적으로 대응할 수 있는가?
• RQ2 비례 투표를 통한 선호도 집계 방식이 다수결 투표와 비교해 공정성과 시스템 성능 측면에서 어떻게 다를까?
• RQ3 다중 목표 집계가 보상 해킹과 단일 목표 보상 조정으로 인해 발생하는 열악한 정책을 방지할 수 있는가?
• RQ4 실시간 사용자 입력에 기반해 목표 가중치를 동적으로 조정할 경우, 속도, 정지 횟수, 대기 시간 등의 핵심 성능 지표에 어떤 영향을 미칠까?
• RQ5 새로운 목표가 추가되거나 가중치가 조정될 때 재훈련이나 수동 가중치 조정이 필요 없이 다수의 목표에 대해 효과적으로 확장 가능한가?

주요 결과

• 제안된 방법은 단일 목표 학습에서 관찰된 '보상 해킹' 문제를 성공적으로 방지하였다. 예를 들어, 정지 횟수를 최소화하기 위해 한 방향의 대기 시간이 과도하게 증가하는 현상을 피했다.
• 비례 투표를 통한 선호도 집계 덕분에 속도, 정지 횟수, 대기 시간 등 세 가지 지표 모두에서 균형 잡힌 성능을 달성하였으며, 어느 특정 목표도 우선시하지 않았다.
• 고정된 가중치를 사용한 선형 조합 방식보다 성능이 뛰어나, 정지 횟수는 거의 0에 수렴하지만 대기 시간이 극도로 높은 열악한 평형 상태를 피할 수 있었다.
• 비례 투표는 다수결 투표에 비해 '다수의 폭력' 문제를 완화하고 소수의 선호도를 보장하는 데 더 효과적이었다.
• 사용자 선호도 분포가 다양하더라도(예: 50-50 분할) 안정적인 성능을 유지하였으며, 시뮬레이션 전반에 걸쳐 뛰어난 내성적 안정성을 보였다.
• 기존의 다중 목표 강화학습 방식에 비해 확장 가능한 대안을 제공하였으며, 새로운 목표 추가나 가중치 조정 시 재훈련이 필요 없었다.

Figure 2: Multi-objective action selection uses multiple Deep $Q$ -Networks (DQN) each trained purely on a single objective. For a given environment state $s$ , each DQN outputs a vector of $Q$ -values. A softmax re-scales these values to reflect their relative importance for a given DQN. These are