[論文レビュー] IDQL: Implicit Q-Learning as an Actor-Critic Method with Diffusion Policies

Philippe Hansen-Estruch, Ilya Kostrikov+3 more|arXiv (Cornell University)|Apr 20, 2023

Advanced Causal Inference Techniques被引用数 9

ひとこと要約

この論文は IQL を actor-critic 法として再解釈し、一般化された critic 損失を導入し、拡散ベースのポリシー抽出（IDQL）を提示し、オフライン RL ベンチマークにおいてハイパーパラメータの挙動が頑健であることを示し、最先端の結果を示す。

ABSTRACT

Effective offline RL methods require properly handling out-of-distribution actions. Implicit Q-learning (IQL) addresses this by training a Q-function using only dataset actions through a modified Bellman backup. However, it is unclear which policy actually attains the values represented by this implicitly trained Q-function. In this paper, we reinterpret IQL as an actor-critic method by generalizing the critic objective and connecting it to a behavior-regularized implicit actor. This generalization shows how the induced actor balances reward maximization and divergence from the behavior policy, with the specific loss choice determining the nature of this tradeoff. Notably, this actor can exhibit complex and multimodal characteristics, suggesting issues with the conditional Gaussian actor fit with advantage weighted regression (AWR) used in prior methods. Instead, we propose using samples from a diffusion parameterized behavior policy and weights computed from the critic to then importance sampled our intended policy. We introduce Implicit Diffusion Q-learning (IDQL), combining our general IQL critic with the policy extraction method. IDQL maintains the ease of implementation of IQL while outperforming prior offline RL methods and demonstrating robustness to hyperparameters. Code is available at https://github.com/philippe-eecs/IDQL.

研究の動機と目的

• Policy が IQL critic によって誘導されるというより深い概念的理解を提供する。
• IQL critic 損失を一般化して、明示的な暗黙的 actor にマッピングする。
• 暗黙的 actor を近似する拡散ベースで表現力のあるポリシー抽出法を提案する。
• 領域を越えた強力なオフライン RL パフォーマンスとハイパーパラメータの頑健性を示す。
• IDQL のオンライン微調整の有効性と実用性を示す。

提案手法

• IQL critic 目的を Q(s,a)−V(s) 上の任意の凸損失 f に一般化する。
• 暗黙的 actor を pi_imp(a|s) が μ(a|s) に基づき f と Q−V から導かれる重み w(s,a) に比例する形として特徴づける。
• Different f（expectile、quantile、exponential）が Theorem 4.1 によって異なる暗黙的ポリシーを誘導する方法を導出する。
• ポリシー抽出を、拡散ベースの挙動モデル μ_φ(a|s) からサンプリングし、 critic によって導かれる重みで再加重して pi_imp に近づける方式を提案する。
• 拡散モデル（DDPM 目的）を挙動ポリシーのモデリングに用い、重み付けベースのサンプリングでポリシー抽出を実施する。
• 実用的なオンライン微調整経路と、効率を保つ分離型 critic トレーニング体制を提供する。

Figure 1: Comparing unimodal AWR as used by IQL to our IDQL diffusion policy. (Left) 2D bandit with three actions and reward function $r(a_{1},a_{2})=a_{1}+a_{2}$ . For the 90th expectile of the reward distribution, we compute contour plots for the corresponding unimodal Gaussian policy fitted with

実験結果

リサーチクエスチョン

• RQ1 IQL critic の下で異なる凸損失 f によって暗黙的に表現されるポリシーは何か？
• RQ2 critic 学習によって誘導される暗黙的 actor を忠実に近似する明示的ポリシーをどのように抽出できるか？
• RQ3 拡散ベースのポリシー抽出は複雑な暗黙的 actor を表現する際、単峰ガウス抽出を上回るか？
• RQ4 IDQL は他の最先端手法と比較してオフライン RL の標準ベンチマークでどう機能するか（特にハイパーパラメータ調整が限られている場合での比較）？
• RQ5 ポリシー抽出アーキテクチャ（拡散）の頑健性とオンライン微調整パフォーマンスへの影響はどうなるか？

主な発見

データセット	CQL-A	IQL-A	DQL-A	IDQL-A	CQL-1	IQL-1	DQL-1	IDQL-1
halfcheetah-med	44.0	47.4	51.1	51.0	46.4	47.6	50.6	49.7
hopper-med	58.5	66.3	90.5	65.4	64.4	63.7	75.2	63.1
walker2d-med	72.5	78.3	87.0	82.5	81.6	81.9	83.4	80.2
halfcheetah-med-rep	45.5	44.2	47.8	45.9	45.4	43.1	45.8	45.1
hopper-med-rep	95.0	94.7	101.3	92.1	88.5	42.5	94.5	82.4
walker2d-med-rep	77.2	73.9	95.5	85.1	74.5	78.4	86.7	79.8
halfcheetah-med-exp	91.6	86.7	96.8	95.9	64.6	88.1	93.3	94.4
hopper-med-exp	105.4	91.5	111.1	108.6	99.3	73.7	102.1	105.3
walker2d-med-exp	108.8	109.6	110.1	112.7	109.6	110.5	109.6	111.6
locomotion-v2 total	698.5	692.4	791.2	739.2	674.3	629.5	741.2	711.6
antmaze-umaze	74.0	87.5	93.4	94.0	65.0	86.4	47.6	93.8
antmaze-umaze-div	84.0	62.2	66.2	80.2	41.3	62.4	35.8	62.0
antmaze-med-play	61.2	71.2	76.6	84.5	31.4	76.0	42.5	86.6
antmaze-med-div	53.7	70.0	78.6	84.8	25.8	74.8	46.3	83.5
antmaze-large-play	15.8	39.6	46.4	63.5	8.5	31.6	19.0	57.0
antmaze-large-div	14.9	47.5	57.3	67.9	7.0	36.4	25.2	56.4
antmaze-v0 total	303.6	378.0	418.5	474.6	180.0	368.4	216.4	439.3
total	1002.1	1070.4	1209.7	1213.8	854.3	997.9	957.4	1150.9
training time	80m	20m	240m	60m	80m	20m	240m	40m

• IDQL は D4RL ベンチマークで従来のオフライン RL 手法を上回り、強力な antmaze 結果と競争力のある locomotion パフォーマンスを示す。
• ドメインごとに1つのハイパーパラメータ調整に限定しても、IDQL は強力な性能を維持し、IQL や拡散ベースのベースラインなどをしばしば上回る。
• IQL によって誘導される暗黙的 actor は複雑で多峰性であり、単峰ガウス抽出は不十分となり得る。
• 拡散ベースのポリシー抽出は暗黙的 actor を正確に近似し、ハイパーパラメータへの頑健性を向上させる。
• オンライン微調整の結果、IDQL は従来手法より顕著な利益をもたらし、特に難易度の高い antmaze タスクで顕著である。
• アーキテクチャの選択（たとえば拡散の LN_Resnet など）はサンプル数 N への感度を大きく低減し、サンプル品質を向上させる。

Figure 2: Comparison of different loss functions for generalized IQL on a simple bandit. The bandit’s continuous action space has three clusters corresponding to low, medium, and high reward, with additive noise (left). We compute values from the different objectives in Section 4 over choices of hyp