[論文レビュー] Learning Probabilistic Relational Dynamics for Multiple Tasks

Ashwin Deshpande, Brian Milch+2 more|arXiv (Cornell University)|Jun 20, 2012

AI-based Problem Solving and Planning参考文献 11被引用数 11

ひとこと要約

本稿では、複数の関連するタスクにわたる確率的関係的ダイナミクスを学習するための階層ベイズ枠組みを提案する。各タスクごとに確率的に変更されたプロトタイプルールセットを用いる。ルールセットに共通の事前分布を共有することで、ブロックワールド環境におけるアクション効果の学習に必要なデータ量を顕著に削減し、関係的計画ドメインにおける効果的な転移学習を示している。

ABSTRACT

The ways in which an agent's actions affect the world can often be modeled compactly using a set of relational probabilistic planning rules. This paper addresses the problem of learning such rule sets for multiple related tasks. We take a hierarchical Bayesian approach, in which the system learns a prior distribution over rule sets. We present a class of prior distributions parameterized by a rule set prototype that is stochastically modified to produce a task-specific rule set. We also describe a coordinate ascent algorithm that iteratively optimizes the task-specific rule sets and the prior distribution. Experiments using this algorithm show that transferring information from related tasks significantly reduces the amount of training data required to predict action effects in blocks-world domains.

研究の動機と目的

• 限られたトレーニングデータにおける関係的ドメインにおけるアクション効果ダイナミクスの学習という課題に対処すること。
• ルールセットに共通の事前分布を共有することで、複数の関連するタスク間での知識転送を可能にすること。
• タスク固有のダイナミクスをモデル化しつつ、タスク間で構造的一致性を維持するスケーラブルで確率的な枠組みを開発すること。
• 共有事前知識を用いることで、ブロックワールド計画タスクにおけるアクション効果の学習のサンプル複雑性を低減すること。

提案手法

• プロトタイプルールセットを確率的に摂動させることでタスク固有のルールセットを生成する階層ベイズモデルを用いる。
• 複数の関連するタスクから学習されたルールセットの事前分布により、知識の転送が可能になる。
• 座標昇下法を用いて、タスク固有のルールセットと共有事前分布を同時に最適化する。
• 確率的論理ルールを用いて関係的ダイナミクスをモデル化し、対象とアクションの間の依存関係を捉える。
• ルールセットをパラメータ化することで、プロトタイプへの微小な変更が、多様だが構造的に整合性のあるタスク固有のルールを生み出す。
• 本フレームワークは、共有される基礎的ダイナミクスを持つタスク間でのインクリメンタルな学習と一般化をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ルールセットに共通の事前分布を共有することで、複数の関連する計画タスクにおける学習効率はどのように向上するか？
• RQ2 プロトタイプルールセットの確率的変更は、多様だが一貫性のあるタスク固有のダイナミクスをどの程度正確に捉えることができるか？
• RQ3 階層ベイズモデリングは、関係的ドメインにおけるアクション効果の学習に必要なトレーニングデータ量をどの程度削減できるか？
• RQ4 非転移学習ベースラインと比較して、提案手法はデータ効率性と正確性の観点でどのように異なるか？
• RQ5 事前分布の構造は、未学習のタスクにおける一般化性能にどのような影響を及えるか？

主な発見

• 共有知識を活用することで、本手法はブロックワールドドメインにおけるアクション効果の学習に必要なトレーニングデータ量を顕著に削減した。
• 階層ベイズ的事前分布による転移学習は、タスク固有の学習と比較して収束が速く、サンプル効率性が向上した。
• プロトタイプルールセットの確率的変更により、構造的一致性を保ちつつ効果的な一般化が可能になった。
• 実験では、座標昇下法がタスク固有のルールと共有事前分布の両方を効果的に最適化し、予測精度を向上させた。
• 本フレームワークは、タスクごとのデータが限られた状況でも頑健な性能を示し、低データの関係的計画シナリオに適していることが明らかになった。