[論文レビュー] Impact of Markov Decision Process Design on Sim-to-Real Reinforcement Learning

Tatjana Krau, Jorge Mandlmaier+2 more|arXiv (Cornell University)|Mar 10, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

この論文は、MDP設計の選択（状態、ターゲットの包含、報酬、終了条件、ダイナミクスの忠実度）がカラー混合のシム-リアル転送にどのように影響するかを実証的に研究し、実世界での性能を改善する設計パターンを特定している。

ABSTRACT

Reinforcement Learning (RL) has demonstrated strong potential for industrial process control, yet policies trained in simulation often suffer from a significant sim-to-real gap when deployed on physical hardware. This work systematically analyzes how core Markov Decision Process (MDP) design choices -- state composition, target inclusion, reward formulation, termination criteria, and environment dynamics models -- affect this transfer. Using a color mixing task, we evaluate different MDP configurations and mixing dynamics across simulation and real-world experiments. We validate our findings on physical hardware, demonstrating that physics-based dynamics models achieve up to 50% real-world success under strict precision constraints where simplified models fail entirely. Our results provide practical MDP design guidelines for deploying RL in industrial process control.

研究の動機と目的

• MDP設計選択が産業用カラー混合RLタスクのシム-実機転送にどう影響するかを評価する。
• 構成とダイナミクスモデルを横断してシム-リアルギャップを定量化する。
• 転送を改善するMDP設計パターンを特定し、失敗モードを暴露する。
• 産業プロセス制御へのRL展開に向けた実用的ガイドラインを提供する。

提案手法

• MDP要素を系統的に変化させる：状態構成（ターゲットを含むかどうかと表現）、報酬の定式化、終了ホライズン、ダイナミクス忠実度。
• 混合ダイナミクスを模擬する3つのカラー予測モデル（Lerp、Kubelka-Munk、Weighted Geometric Mean）を用いる。
• 訓練中の観測ノイズと敵対的摂動といったロバストネス機構を導入。
• シミュレーション指標（FP、T7.5、CV、NM）と複合スコアで構成を評価し、選択した構成をハードウェアで検証。

実験結果

リサーチクエスチョン

• RQ1 状態にターゲットカラーを含めることはシム-実機転移にどのように影響するか。
• RQ2 異なるダイナミクスモデル下でカラー混合に対してどの状態表現が最も一般化するか。
• RQ3 簡素な距離ベースの報酬は転送のロバスト性の観点で、行動罰則付き報酬より優れているか。
• RQ4 終了ホライズンと許容誤差はダイナミクス忠実度とどのように相互作用して転送へ影響するか。
• RQ5 物理ベースのダイナミクス（KM、WGM）を用いると線形モデルと比べてハードウェア転送が改善されるか。

主な発見

Model/Phase	Target included	State	Termination T	Tolerance tau	Reward	Dynamics	FP	CV	T7.5	NM	CS
M1	Yes	4	20	10	R1	Lerp	9.75 ± 0.02	0.0119	15,018	0	0.998
M2	No	4	20	10	R1	Lerp	6.99 ± 0.23	0.07	178,858	20	0.93
M3	Yes	4	5	7.5	R1	Lerp	7.30 ± 0.14	0.06	92,842	14	0.75
M4	Yes	4	5	7.5	R1	KM	6.81 ± 0.02	0.06	209,578	20.7	0.77
M5	Yes	4	5	7.5	R1	WGM	7.38 ± 0.01	0.05	55,978	17	0.50

• 状態にターゲットカラーを含めると転送性能が向上する；含めないと実世界のダイナミクスで失敗につながる可能性がある。
• 正規化された比率ベースの状態表現（State 4）は複雑なダイナミクス下で最も一般化する。
• 単純な距離ベースの報酬（R1）は訓練の安定性とシム-リアル転送の双方で、行動罰則付き報酬（R2/R3）より有利。
• 厳格な終了条件と許容誤差は低忠実度ダイナミクス時にシミュレーション成功を低減させるが、高忠実度ダイナミクスは厳格な設定を活用して精度を高められる。
• 物理ベースのダイナミクスモデル（KMとWGM）は精度制約下での実世界性能を堅牢に発揮し、転送シナリオでLerpを上回る。