[論文レビュー] PVEs: Position-Velocity Encoders for Unsupervised Learning of Structured State Representations

Rico Jonschkowski, Roland Hafner+2 more|arXiv (Cornell University)|May 27, 2017

Human Pose and Action Recognition参考文献 11被引用数 36

ひとこと要約

本論文は、再構成損失を用いず、画像を位置状態と速度状態に符号化することで、ピクセルから構造的状態表現を自己教師ありで学習するPosition-Velocity Encoders (PVEs)を提案する。有限差分を用いた速度推定を強制し、ロボット工学的仮説と整合性をとることで、正確で分離可能な状態表現を実現し、シミュレーテッド制御タスクにおけるサンプル効率の高い強化学習を可能にする。

ABSTRACT

We propose position-velocity encoders (PVEs) which learn---without supervision---to encode images to positions and velocities of task-relevant objects. PVEs encode a single image into a low-dimensional position state and compute the velocity state from finite differences in position. In contrast to autoencoders, position-velocity encoders are not trained by image reconstruction, but by making the position-velocity representation consistent with priors about interacting with the physical world. We applied PVEs to several simulated control tasks from pixels and achieved promising preliminary results.

研究の動機と目的

• 教師なしまたは画像再構成を用いずに、生のピクセルからタスク関連の状態表現を学習すること。
• 状態表現を明確に位置と速度の成分に分解することで、解釈性と物理的整合性を向上させること。
• 滑らかな運動や物理的妥当性といったロボット工学的仮説を、自己教師あり表現学習をガイドする誘導的バイアスとして活用すること。
• 真の状態ラベルにアクセスせずに、学習された状態表現のみを用いて効果的な強化学習を実現すること。
• 構造的で物理的にインスパイアされた表現が、シミュレーテッド環境における視覚的観測から直接学習可能であることを示すこと。

提案手法

• PVEsは、ニューラルエンコーダーを用いて1枚の画像を低次元の位置状態に符号化する。
• 速度状態は、連続する位置状態間の有限差分として計算され、時間的ダイナミクスに硬いモデル制約を課す。
• エンコーダーは、位置、速度、加速度に関するロボット工学的仮説との不一致を測る損失関数の重み付き和を最小化する勾配降下法で訓練される。
• ロボット工学的仮説には、運動の滑らかさ、軌道の物理的妥当性、既知の運動方程式との整合性が含まれ、ソフト正則化目的として表現される。
• この手法は、デコーダーの訓練や再構成損失の使用を回避し、代わりに仮説に整合するダイナミクスと構造的制約に依存する。
• バックプロパゲーションにより、状態空間に力を適用することで、エンコーダーが物理的直感とタスク構造に整合した表現を学習するように導く。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり手法は、真の状態ラベルが一切ない状況でも、生のピクセルから分離可能な位置と速度の状態表現を学習可能か？
• RQ2 有限差分による速度推定制約は、学習された状態表現の質と物理的妥当性を向上させるか？
• RQ3 滑らかな運動や一貫性のあるダイナミクスといったロボット工学的仮説は、視覚的制御タスクにおける自己教師あり表現学習をどの程度向上させるか？
• RQ4 PVEで学習された状態表現を用いた強化学習ポリシーは、シミュレーテッド制御タスクで高い性能を達成できるか？
• RQ5 カメラの視点（固定 vs. 動的）の選択が、学習された状態表現の質と下流の制御性能にどのように影響するか？

主な発見

• PVEsは、シミュレーテッド環境における物体の真の位置と速度を低再構成誤差で捉えた状態表現を成功裏に学習した。インバーテッドペンドulumタスクでは、$\cos(\theta_{\textrm{pole}})$ に対して0.0013、$\sin(\theta_{\textrm{pole}})$ に対して0.0012の誤差を示した。
• 有限差分によるノイズ増幅の影響で、速度誤差は位置誤差よりも高かった。$\dot{\theta}_{\textrm{pole}}$ の誤差は0.0110であり、固定カメラ設定では2倍に増加した。
• PVEで学習した状態を用いた強化学習は、インバーテッドペンドulumで50エポック、カートペンドulumで300エポックで最適性能に到達し、ランダムエンコーダーベースラインを上回った。
• 固定カメラ設定では、状態推定ノイズの増加により性能が悪化し、特にボールインカップタスクにおけるカップ速度の推定に顕著だった。
• ボールインカップタスクでは、PVEベースの制御がベースラインを上回ったが、速度状態の推定ノイズが高いため、一貫したタスク解決に失敗した。
• 本手法は、異なるカメラ視点に対してロバストであり、視点間で同等の表現を学習したことが示され、状態空間における構造的整合性を示した。