[論文レビュー] Concept Learning with Energy-Based Models

Igor Mordatch|arXiv (Cornell University)|Nov 6, 2018

Machine Learning and Data Classification参考文献 32被引用数 7

ひとこと要約

本論文では、実行時最適化を用いて少数のデモから、視覚的、関係的、時間的性質などの抽象的概念を学習するエネルギー関数に基づく概念モデルを提案する。概念をイベントの配置と注目マスクに関するエネルギー関数として定義することで、実行時における概念の特定と生成が可能となり、学習された概念は異なる環境間で再利用可能である。

ABSTRACT

Many hallmarks of human intelligence, such as generalizing from limited experience, abstract reasoning and planning, analogical reasoning, creative problem solving, and capacity for language require the ability to consolidate experience into concepts, which act as basic building blocks of understanding and reasoning. We present a framework that defines a concept by an energy function over events in the environment, as well as an attention mask over entities participating in the event. Given few demonstration events, our method uses inference-time optimization procedure to generate events involving similar concepts or identify entities involved in the concept. We evaluate our framework on learning visual, quantitative, relational, temporal concepts from demonstration events in an unsupervised manner. Our approach is able to successfully generate and identify concepts in a few-shot setting and resulting learned concepts can be reused across environments. Example videos of our results are available at sites.google.com/site/energyconceptmodels

研究の動機と目的

• 限られた経験からの一般化を可能にするために、人工エージェントが推論の基本的構成要素として抽象的概念を学習する挑戦に応えること。
• 概念をエネルギー関数として暗黙的に定義するフレームワークを開発し、実行時における動的推論と構成を、静的で事前の学習ではなく、実行時に行えるようにすること。
• ドメインに依存しないエネルギー関数を学習することで、異なる環境や制御プラットフォーム間での概念の再利用を可能にすること。
• 明示的な生成モデルや方策ネットワークを用いずに、最適化に基づく推論が、概念の生成と特定を効果的に行えるかどうかを調査すること。

提案手法

• 概念を、エンティティの軌跡（イベント配置）と関連するエンティティを特定する注目マスクに関するエネルギー関数として定義する。
• 推論時に勾配ベースの最適化を用い、注目マスクを用いてエネルギーをゼロに最小化することで、概念に参加するエンティティを同定する。
• イベント配置（例：位置や状態）を最適化して、概念のエネルギー関数下でエネルギーをゼロにすることで、概念を含む新しいイベントを生成する。
• 複数のエンティティ間の相互作用をモデル化するため、関係性ニューラルネットワークアーキテクチャを採用し、形状や時間的関係といったマルチエンティティ概念の性能を向上させる。
• 実際のイベントの識別と高品質なサンプル生成の両方を保証するため、最尤推定（ML）とKL発散の組み合わせを用いてエネルギー関数を学習する。
• モデル予測制御を最適化エンジンとして用い、異なるシミュレータ（例：3D Mujocoロボット）に同じエネルギー関数を適用することで、環境間の再利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エネルギー関数ベースのモデルは、わずか数個のデモイベントから、視覚的（例：'赤'）、定量的、関係的（例：'～の上に'）、時間的（例：'～の後に'）な抽象的概念を学習できるか？
• RQ2 概念コードに対する実行時最適化によって、少数ショット設定下で効果的な概念特定と生成が可能になるか？
• RQ3 学習時にKL発散項を含めることで、エネルギーモデルからの生成サンプルの品質が向上するか？
• RQ4 学習されたエネルギー関数は、ダイナミクスや駆動メカニズムが異なる異なる環境間で、どの程度再利用可能か？
• RQ5 関係性ネットワークアーキテクチャの導入が、複雑なマルチエンティティ概念を学習する能力に与える影響は何か？

主な発見

• モデルは、わずか数個のデモから、視覚的（例：'赤'）、関係的（例：'～の上に'）、時間的（例：'～の後に'）といった多様な概念を効果的に学習・生成した。
• 学習時にKL発散項を含めることで、生成サンプルの品質が顕著に向上し、負の対数尤度が低く抑えられ、真の例のエネルギーと良好に一致した。
• 関係性ネットワークを導入しない場合、モデルは一貫したマルチエンティティ概念（例：複数の物体が作る'正方形'）を生成できず、関係性のインダクティブバイアスの重要性が浮き彫りになった。
• 2D粒子環境で学習したエネルギー関数は、3D Mujocoシミュレータにおけるロボットアーム環境でも成功裏に再利用され、異なるダイナミクスと制御メカニズムにもかかわらず、環境間の転送性を示した。
• 勾配降下を用いた最適化ベースの推論は、少ないステップ数で高品質なサンプルを生成でき、推論プロセスに明示的な教師信号を必要としない最尤推定に比べて優れた性能を示した。