[論文レビュー] Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions

Tom Bewley, Freddy Lécué|arXiv (Cornell University)|Dec 20, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、人間のフィードバックから内在的に解釈可能な木構造の報酬関数を構築する、オンラインでアクティブな好みベースの強化学習アルゴリズムを提案する。状態行動空間を階層的に非交差部分に分解し、上界信頼区間（UCB）を用いて段階的に改善することで、サンプル効率の高い学習と、アライメントデバッグにおける解釈性の向上を実現した。合成フィードバックと人間のフィードバックの両方を用いて4つの環境で実証された。

ABSTRACT

The potential of reinforcement learning (RL) to deliver aligned and performant agents is partially bottlenecked by the reward engineering problem. One alternative to heuristic trial-and-error is preference-based RL (PbRL), where a reward function is inferred from sparse human feedback. However, prior PbRL methods lack interpretability of the learned reward structure, which hampers the ability to assess robustness and alignment. We propose an online, active preference learning algorithm that constructs reward functions with the intrinsically interpretable, compositional structure of a tree. Using both synthetic and human-provided feedback, we demonstrate sample-efficient learning of tree-structured reward functions in several environments, then harness the enhanced interpretability to explore and debug for alignment.

研究の動機と目的

• 好みベースの強化学習における解釈性のギャップを解消すること。これまでは不透明なニューラルネットワークが使用されていた。
• アライメントの評価とデバッグを支援する、堅牢で人間が読みやすい報酬関数構造を実現すること。
• 人間の好みフィードバックを用いて、段階的に構築・改善する木構造の報酬関数を実現するアクティブラーニングアルゴリズムを開発すること。
• 複数の環境において、オフラインおよびオンラインの両設定で、サンプル効率的かつアライメントされた学習を実現すること。
• 成分レベルの可視化と特徴量の重要度を用いた診断ツールを提供し、誤アライメントや障害モードを特定すること。

提案手法

• 本手法は、各葉が状態行動空間の非交差部分集合を表し、内部ノードが報酬の階層的合成を表す二分木構造の報酬関数を構築する。
• 各報酬成分は、好みラベル付きの軌道から推定された平均と分散を持つガウス分布としてモデル化され、不確実性を考慮したアクティブラーニングを可能にする。
• アルゴリズムは上界信頼区間（UCB）を用いて、最も情報量の多い好みクエリを選択し、不確実性が大きい成分を優先して改善する。
• 好みフィードバックに基づき、動的に木構造を拡張・剪定することで、解釈性と構成的構造を維持する。
• 複数の可視化をサポートする：成分ごとの学習曲線、軌道レベルの適合度推定、および論理和標準形（DNF）で記述された自然言語によるエピソード行動のレポートカード。
• 木構造を効率的に活用して特徴量の重要度を計算し、ポリシー行動を支配する要因を分析可能にする。

実験結果

リサーチクエスチョン

• RQ1 スパarsな人間の好みから、解釈性を保ちつつ、木構造の報酬関数を効率的に学習できるか？
• RQ2 木構造の報酬の解釈性は、アライメントデバッグや障害分析をどのように向上させるか？
• RQ3 不確実性に基づくクエリ選択を用いたアクティブな好み学習は、PbRLにおけるサンプル効率をどの程度向上させるか？
• RQ4 成分レベルのダイナミクスと報酬構造は、複雑な環境におけるポリシー行動と収束にどのように影響を与えるか？
• RQ5 本手法は、因果的まごまご（causal confusion）や早期報酬固定といった誤アライメント問題を検出・診断できるか？

主な発見

• 本アルゴリズムは、合成フィードバックと人間からのフィードバックの両方を用いて、4つのベンチマーク環境で木構造の報酬関数をサンプル効率よく学習した。
• FoodLava環境では、エピソード250までにエージェントがゴール領域（成分9）を優先するよう学習し、大部分の時間をそこに費やし、迅速なナビゲーション成功を達成した。
• ゴールに対応する成分1では、平均報酬が時間経過とともに徐々に増加し、分散が減少した。これは最適行動の安定した学習を示している。
• 本手法は誤アライメントを正常に同定した：高いパフォーマンスを示したエピソード975では、エージェントが非ゴール成分（6）に留まっていたが、これは誤アライメントであった。
• 本システムは、自然言語で記述された診断レポートカードを提供し、アライメント済み（例：ゴールに到達）と誤アライメント（例：まっすぐ前進）の軌道を区別できた。
• オフライン設定では、探索が限定的であるため、誤った相関関係（スパurious correlations）を学習して悪用する「因果的まごまご」の障害モードが明らかになった。