[論文レビュー] Dynamic value alignment through preference aggregation of multiple objectives

Marcin Korecki, Damian Dailisan+1 more|arXiv (Cornell University)|Oct 9, 2023

Autonomous Vehicle Technology and SafetyEngineering被引用数 3

ひとこと要約

本論文は、複数の目的における好みの集約を用いて強化学習エージェントの価値を動的に整合化する手法を提案する。これにより、人間の好みの変化にリアルタイムで適応できる。各目的ごとに別個のディープQネットワーク（DQN）を訓練し、割合投票を用いて好みを集約することで、報酬のねじり（reward hacking）を回避し、速度、停止回数、待機時間のバランスの取れた性能を達成する。単一目的の最適化に偏る手法とは異なり、公平性を損なわず、優れた性能を発揮する。

ABSTRACT

The development of ethical AI systems is currently geared toward setting objective functions that align with human objectives. However, finding such functions remains a research challenge, while in RL, setting rewards by hand is a fairly standard approach. We present a methodology for dynamic value alignment, where the values that are to be aligned with are dynamically changing, using a multiple-objective approach. We apply this approach to extend Deep $Q$-Learning to accommodate multiple objectives and evaluate this method on a simplified two-leg intersection controlled by a switching agent.Our approach dynamically accommodates the preferences of drivers on the system and achieves better overall performance across three metrics (speeds, stops, and waits) while integrating objectives that have competing or conflicting actions.

研究の動機と目的

• 報酬関数が固定されている強化学習における課題に取り組むこと。固定された最適化目標は、人間の価値と不整合な政策を生じさせる可能性がある。
• 交通交差点のようなリアルワールド制御システムにおいて、AIエージェントが人間の好みの変化に動的に適応できることを実現すること。
• 速度、停止回数、待機時間などの対立する複数の目的を参加型投票を通じて集約することで、公平性と全体的なシステム性能を向上させること。
• 単一目的の報酬設計に比べて、投票によるマルチオブジェクティブ集約が、最適でないまたは不平等な解を回避する点で優れていることを示すこと。
• 固定された報酬設計やアルゴリズム的独裁の罠を避ける、スケーラブルで分散型の価値整合手法を検討すること。

提案手法

• 本手法は、各目的（例：停止回数の最小化、待機時間の最小化）ごとに別個のディープQネットワーク（DQN）を訓練することで、ディープQラーニングを拡張する。
• 各意思決定ステップで、異なるユーザーグループを表す模擬ドライバーからの好みを、各目的の優先順位に関する割合投票によって収集する。
• 最終的な行動選択は、全目的のQ値の重み付き集約に基づく。重みは、各目的に割り当てられた票の割合によって決定される。
• 投票メカニズムは、単純な過半数投票に見られる「多数の暴政」や「無駄な票」の問題を軽減するための割合代表制を用いる。
• 誤って設定された固定報酬重みを事前に指定する必要がなくなるため、価値の不整合を回避できる。
• 本手法は、動的ユーザープreferencesに基づいて信号を制御する2本レーンの交差点を模擬した環境で評価された。

Figure 1: Two-way intersection controlled by an RL agent. The agent controls which direction has a green signal at any given time.

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、マルチオブジェクティブ制御システムにおいて、変化する人間の好みに動的に適合できるか？
• RQ2 割合代表制による好みの集約は、過半数投票と比較して公平性とシステム性能の点で優れているか？
• RQ3 複数目的の集約は、単一目的の報酬設計に起因する報酬のねじりや、非最適な政策を回避できるか？
• RQ4 リアルタイムでのユーザーリクエストに基づく目的重みの動的調整が、速度、停止回数、待機時間といった主要なパフォーマンス指標に与える影響は何か？
• RQ5 本手法は、再訓練や手動による重み調整を必要とせずに、複数の目的にスケーラブルに適応できるか？

主な発見

• 提案手法は、単一目的の学習で見られる「報酬のねじり」を効果的に回避した。具体的には、停止回数を最小化するための最適化が、一方の方向での極端な待機時間を引き起こす事態を防いだ。
• 割合代表制による好みの集約により、速度、停止回数、待機時間の3つの指標すべてにおいてバランスの取れた性能が達成され、特定の目的に偏ることなく、公平な性能を発揮した。
• 固定重みを用いた線形結合の手法とは異なり、本手法は、停止回数はほぼゼロに抑えられるが待機時間が極端に高くなる非最適な均衡を回避した。
• 過半数投票と比較して、割合代表制は「多数の暴政」の緩和やマイノリティの好みの代表を確保する点で、公平性の問題をより効果的に軽減した。
• 本手法は、ユーザープリファレンスの分布が変化しても、50-50の均等な割合でさえも、安定した性能を維持するという柔軟性を示した。
• 本手法は、新たな目的の追加や重みの調整に対しても再訓練を必要とせず、従来のマルチオブジェクティブ強化学習の代替手段としてのスケーラビリティを示した。

Figure 2: Multi-objective action selection uses multiple Deep $Q$ -Networks (DQN) each trained purely on a single objective. For a given environment state $s$ , each DQN outputs a vector of $Q$ -values. A softmax re-scales these values to reflect their relative importance for a given DQN. These are