[論文レビュー] Operationally meaningful representations of physical systems in neural networks

Hendrik Poulsen Nautrup, Tony Metger+6 more|arXiv (Cornell University)|Jan 2, 2020

Statistical Mechanics and Entropy被引用数 6

ひとこと要約

本論文は、実験データについて効率的に通信するエージェントをモデル化することで、物理的システムの操作的に意味のある表現を学習するニューラルネットワークアーキテクチャを提案する。エージェントが関連するパラメータのみを共有するように制約を課すことで、局所的パラメータと量子もつれの相関パラメータといった物理的に異なる特徴が分離され、実際の実験的関連性を反映するコンパクトで解釈可能な表現が得られる。このことは、2キュービット状態を含む古典的および量子的システムにおいて実証された。

ABSTRACT

To make progress in science, we often build abstract representations of physical systems that meaningfully encode information about the systems. The representations learnt by most current machine learning techniques reflect statistical structure present in the training data; however, these methods do not allow us to specify explicit and operationally meaningful requirements on the representation. Here, we present a neural network architecture based on the notion that agents dealing with different aspects of a physical system should be able to communicate relevant information as efficiently as possible to one another. This produces representations that separate different parameters which are useful for making statements about the physical system in different experimental settings. We present examples involving both classical and quantum physics. For instance, our architecture finds a compact representation of an arbitrary two-qubit system that separates local parameters from parameters describing quantum correlations. We further show that this method can be combined with reinforcement learning to enable representation learning within interactive scenarios where agents need to explore experimental settings to identify relevant variables.

研究の動機と目的

• 統計的アーチファクトではなく、物理的に解釈可能で操作的に意味のあるパラメータを生成する表現学習手法の開発。
• 標準的な表現学習の限界に対処する。標準的な手法はデータ分布からの構造を暗黙的に学習するが、パラメータの意味的解釈に明示的な制御がない。
• 科学的発見におけるエージェントが関連する情報のみを通信することで、より効率的で意味のあるパrameterizationを実現すること。
• 表現学習を強化学習と統合し、エージェントが実験を通じて関連する変数を同定するインタラクティブで探索的な科学的状況を扱えるようにすること。

提案手法

• フレームワークは、物理的システムの異なる側面に作用する複数のエージェントをモデル化し、それぞれが質問に答えるために必要なパラメータのサブセットのみを必要とする。
• エージェントはパラメータを効率的に圧縮・通信すると仮定され、これにより表現に構造的制約が生じる。
• 訓練には、現在のh値とターゲットh値の差を最小化する損失関数を用いた深層エネルギーに基づく投影シミュレーション（DPS）モデルが使用される。
• ターゲットh値は、割引された将来報酬として計算され、正則化のための忘却パラメータを含む。
• 方策はh値のソフトマックス関数により導出され、探索と活用のトレードオフが可能になる。
• アーキテクチャは強化学習と組み合わせられ、エージェントが実験的設定を探索し、フィードバックを通じて表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、統計的バイアスではなく、操作的に意味のある物理的システムの表現をどのように学習できるか？
• RQ2 異なる実験的側面に取り組むエージェント間の効率的通信は、分離され、物理的に解釈可能な表現を生み出せるか？
• RQ3 この手法は、量子系において局所的パラメータと非局所的量子相関をどの程度正確に特定・分離できるか？
• RQ4 表現学習は、エージェントが実験を通じて関連する変数を同定するインタラクティブな科学的探索シナリオにおいて、強化学習とどのように統合できるか？
• RQ5 このフレームワークは、2キュービット状態のような複雑な系に対しても、コンパクトで解釈可能な表現を生成できるか？

主な発見

• 本手法は、任意の2キュービット状態のコンパクトな表現を学習でき、局所的パラメータと量子相関を記述するパラメータを明示的に分離している。
• 古典的電荷付き質量問題において、ネットワークはターゲットの穴に到達するための逆関数ϕ(v₀)を高精度で学習した。
• 表現は、データ統計ではなく、操作的関連性に基づいて物理的に異なる特徴（初期速度や角度など）を分離している。
• フレームワークにより、強化学習エージェントが実験的設定を探索し、相互作用を通じて関連する変数を同定でき、表現が操作的ニーズに適応する。
• DPSモデルにより、ポリシーとデコーダーヘッドを同じデータで同時に訓練でき、表現学習のサンプル効率と一貫性が向上した。
• 本手法は、実際の実験的能力を反映する解釈可能で操作的に意味のある表現を生成し、暗黙のデータバイアスへの依存を低減した。