[論文レビュー] PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning

Tianmeng Hu, Biao Luo|arXiv (Cornell University)|Mar 20, 2026

Advanced Multi-Objective Optimization Algorithms被引用数 0

ひとこと要約

PA2D-MORLはPareto ascent direction-based decompositionと進化的な多方策MORLフレームワークを提案し、連続制御タスクにおける安定性を向上させつつ高品質なパレート前線を近似します。MuJoCoベースのいくつかの目的関数で最先端メソッドを上回ります。

ABSTRACT

Multi-objective reinforcement learning (MORL) provides an effective solution for decision-making problems involving conflicting objectives. However, achieving high-quality approximations to the Pareto policy set remains challenging, especially in complex tasks with continuous or high-dimensional state-action space. In this paper, we propose the Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning (PA2D-MORL) method, which constructs an efficient scheme for multi-objective problem decomposition and policy improvement, leading to a superior approximation of Pareto policy set. The proposed method leverages Pareto ascent direction to select the scalarization weights and computes the multi-objective policy gradient, which determines the policy optimization direction and ensures joint improvement on all objectives. Meanwhile, multiple policies are selectively optimized under an evolutionary framework to approximate the Pareto frontier from different directions. Additionally, a Pareto adaptive fine-tuning approach is applied to enhance the density and spread of the Pareto frontier approximation. Experiments on various multi-objective robot control tasks show that the proposed method clearly outperforms the current state-of-the-art algorithm in terms of both quality and stability of the outcomes.

研究の動機と目的

• 目的が衝突するDRLにおける多目的意思決定の動機づけ（例：速度 vs. エネルギー）。
• 事前に定義された好みに依存せず、Pareto ascent direction-based decompositionを提案して複数の政策を最適化する。
• Pareto frontierを探索・塗りつぶす進化的・多方策MORLフレームワークを開発。
• PA-FTを導入して前線を濃密化・拡散させる。
• 7つのMuJoCoベースの多目的タスクで最先端の性能と安定性を実証する。

提案手法

• MORLを評価値ベクトルJ(π)の最大化として定式化し、重みωを用いてJ(π;ω)=ω^T J^πを得る。
• 集約されたpolicy勾配∇_θJ^π(ω)=∑_i ω_i ∇_θJ_i^π_θを計算し、パレート frontierへ最適化を誘導する。
• Pareto ascent directionを、min_{α≥0, Σα_i=1} ||∑_i α_i ∇_θJ_i^π||^2を解いてα*を得て、これを最適化方向として用いる（事前の目的嗜好はなし）。
• 非支配ポリシー集合を維持し、進化的な多世代ループでポリシーを更新する。
• Partitioned Greedy Randomized (PGR) ポリシー選択を用いて目的空間の分割ごとに多様なポリシーを更新する。
• Pareto Adaptive Fine-Tuning (PA-FT)を適用して、見落とされた大規模領域と目的の端部を狙うことでフロンティアを濃密化・拡散する。

実験結果

リサーチクエスチョン

• RQ1 Pareto ascent directionは、全ての目的を同時に向上させる損失なし・嗜好なしの方向を提供できるのか。
• RQ2 Pareto ascent勾配を用いた進化的・多方策フレームワークは、予測モデルベースの MORL 法より高品質で安定した Pareto frontierを生み出せるのか。
• RQ3 PA-FTはさまざまな環境でPareto frontierを適切に濃密化・分布させるのか。
• RQ4 提案された分解とポリシー選択戦略は、連続制御タスクにおける最先端の MORL ベースラインと比較してどうか。

主な発見

Environment	HV PA2D-MORL	HV PA2D-ablated	HV PGMORL	HV PFA	HV MOEA/D	SP PA2D-MORL	SP PA2D-ablated	SP PGMORL	SP PFA	SP MOEA/D
Walker2d	5.743±0.121	5.320±0.186	4.849±0.558	4.329±0.553	4.612±0.545	0.014±0.006	0.180±0.096	0.021±0.018	0.309±0.225	0.710±0.285
Humanoid	51.23±2.66	42.93±4.14	44.75±5.81	40.55±5.02	46.35±7.33	0.133±0.031	0.274±0.177	0.255±0.121	0.715±0.516	2.871±1.342
HalfCheetah	5.787±0.020	5.741±0.053	5.782±0.018	5.765±0.081	5.739±0.075	0.026±0.013	0.106±0.035	0.022±0.015	0.548±0.209	0.679±0.295
Hopper-2	22.09±0.57	21.30±0.68	19.10±2.41	20.61±4.31	20.73±1.17	0.503±0.107	0.>868±0.389	0.559±0.529	4.485±2.219	2.346±0.672
Ant	6.814±0.167	6.242±0.294	6.283±0.277	6.209±0.464	6.233±0.477	0.209±0.019	0.351±0.047	0.832±0.457	1.021±0.554	1.696±0.581
Swimmer	3.187±0.056	2.965±0.336	2.566±0.595	2.392±0.467	2.323±0.531	0.550±0.207	0.603±0.241	0.917±0.862	1.976±0.582	2.601±1.094
Hopper-3	3.889±0.191	3.759±0.277	3.766±0.254	-	3.681±0.434	0.021±0.013	0.106±0.052	0.032±0.011	-	0.642±0.215

• PA2D-MORLは、ベースラインと比較して7つのMuJoCo環境全体で最良のハイパーボリューム(HV)スコアを達成。
• PA2D-MORLは一般に多くの環境で最も濃密なPareto frontierを達成する（SPが最小）、ただしHalfCheetahなど一部はPGMORLが競合する例もある。
• PA2D-MORLは他の手法と比較してHVおよびSPでの実行間の安定性（標準偏差が小さい）に優れている。
• PA2D-MORLをPA-FTなしで評価すると frontier densityが低下し、PA-FTが密なパレート近似に寄与していることを示す。
• PA2D-MORLは多くの設定でPGMORLやMOEA/Dを上回り、特にHumanoidとWalker2dでその利点が顕著であり、予測ベースや従来の進化的方法よりPareto ascent directional decompositionの利点を示唆。