[論文レビュー] APReL: A Library for Active Preference-based Reward Learning Algorithms

Erdem Bıyık, Aditi Talati+1 more|arXiv (Cornell University)|Aug 16, 2021

Logic, Reasoning, and Knowledge被引用数 5

ひとこと要約

APReL は、研究者が人間-ロボットインタラクションのためのアクティブな好みベースの報酬学習アルゴリズムを実装・実験・拡張できるモジュラーな Python ライブラリです。OpenAI Gym 互換環境内で、複数のクエリタイプ、ユーザーモデル、信念分布、および取得関数（バッチ処理および多様性を考慮したクエリ最適化を含む）をサポートしており、データ効率の良い報酬学習システムの開発の障壁を顕著に低減しています。

ABSTRACT

Reward learning is a fundamental problem in human-robot interaction to have robots that operate in alignment with what their human user wants. Many preference-based learning algorithms and active querying techniques have been proposed as a solution to this problem. In this paper, we present APReL, a library for active preference-based reward learning algorithms, which enable researchers and practitioners to experiment with the existing techniques and easily develop their own algorithms for various modules of the problem. APReL is available at https://github.com/Stanford-ILIAD/APReL.

研究の動機と目的

• 人間のフィードバック1件あたりの情報量を最大化する戦略的クエリ選択により、報酬学習におけるデータ非効率性の課題に対処すること。
• ペairワイズ比較、ベスト・オブ・K クエリ、バッチ選択などの多様なアクティブな好みベースの学習手法を統合し、1つの拡張可能なソフトウェアフレームワークとして統合すること。
• 標準的な強化学習環境内で、比較、順位付け、デモンストレーションを含むさまざまな人間のフィードバックモダリティとの統合を支援すること。
• 報酬学習における新しい取得関数やクエリ最適化戦略の実装とベンチマークのための障壁を低減すること。
• モジュラーでオープンソースのライブラリを提供することで、再現可能性とコミュニティ主導の開発を促進し、クエリタイプ、信念モデル、最適化手法の拡張性を備えたコンponentsを提供すること。

提案手法

• APReL は、環境、トラジェクトリ、クエリタイプ、ユーザーモデル、信念分布、クエリ最適化モジュール、評価モジュールといった明確に分離されたコンponentsを持つモジュラーなアーキテクチャを提供する。
• ペアワイズの好み、弱い比較、完全な順位付け、デモンストレーションを含む複数のクエリタイプをサポートしており、カスタムクエリフォーマットの拡張も可能である。
• ライブラリは、人間のフィードバックを用いてパラメトリックな人間の反応モデル（例：ソフトマックス）で更新される、報酬関数の信念分布を維持するベイズ推論を採用している。
• 取得関数として、ボリューム除去、相互情報量、レグルートベース、およびトムソンサンプリングを用い、単一クエリおよびバッチクエリの両方をサポートする。
• バッチクエリ生成は、ヒューリスティックな多様性手法および行列式点プロセス（DPPs）を用いて実装され、情報量と多様性のバランスをとる。
• フレームワークは OpenAI Gym 環境と互換性があり、標準的な RL シミュレーション環境に即座に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 ユーザーに提示する比較を戦略的に選択することで、アクティブな好みベースの報酬学習をどのようにしてデータ効率的に改善できるか？
• RQ2 相互情報量とボリューム除去のような異なる取得関数（例：相互情報量対ボリューム除去）の相対的なパフォーマンス向上は、正確な報酬回復に必要なクエリ数をどの程度削減できるか？
• RQ3 バッチクエリ選択は、アクティブな報酬学習におけるデータ効率を損なわずに、時間効率をどのように向上させることができるか？
• RQ4 事前分布にエキスパートのデモンストレーションを統合することで、好みベースの報酬学習のサンプル効率はどの程度向上するか？
• RQ5 モジュラーで拡張可能なソフトウェアライブラリは、人間-ロボットインタラクションにおける新しいアクティブラーニングアルゴリズムの開発とベンチマークにどのように寄与できるか？

主な発見

• APReL は、相互情報量やトムソンサンプリングといった最先端の取得関数を含む、複数のアクティブな好みベースの報酬学習手法の実験と比較を可能にする。
• ヒューリスティックな多様性手法と DPP を用いたアプローチの両方を用いたバッチクエリ生成をサポートしており、情報量を保ちつつ時間効率を向上させる。
• エキスパートのデモンストレーションを事前分布に統合することで、APReL はデータ効率を向上させ、この点はライブラリがサポートする先行研究でも示されている。
• モジュラーな設計により、新しいクエリタイプ、信念モデル、取得関数のシームレスな統合が可能となり、迅速なプロトタイピングとベンチマークが可能になる。
• APReL は OpenAI Gym 環境と互換性があるため、さまざまなシミュレーテッドロボットタスクへの容易なデプロイとテストが可能である。
• ライブラリはオープンソースであり、コミュニティが拡張可能であり、今後のバージョンでは非ベイズ的手法や高度なバッチ最適化技術といった新たな手法の統合を計画している。