[論文レビュー] A Layered Architecture for Active Perception: Image Classification using Deep Reinforcement Learning

Hossein Mousavi, Guangyi Liu+4 more|arXiv (Cornell University)|Sep 20, 2019

Reinforcement Learning in Robotics参考文献 26被引用数 7

ひとこと要約

本論文は、部分観測可能な環境において、分類精度を最大化するために中間的な目標と行動を計画することで、ロボットが能動的視認を行うための三層構造の深層強化学習アーキテクチャを提案する。この手法は統一された報酬信号と一般化された方策勾配学習を用い、MNISTで94.61%のテスト精度を達成し、階層的計画と説明可能な探索軌跡により性能が向上している。

ABSTRACT

We propose a planning and perception mechanism for a robot (agent), that can only observe the underlying environment partially, in order to solve an image classification problem. A three-layer architecture is suggested that consists of a meta-layer that decides the intermediate goals, an action-layer that selects local actions as the agent navigates towards a goal, and a classification-layer that evaluates the reward and makes a prediction. We design and implement these layers using deep reinforcement learning. A generalized policy gradient algorithm is utilized to learn the parameters of these layers to maximize the expected reward. Our proposed methodology is tested on the MNIST dataset of handwritten digits, which provides us with a level of explainability while interpreting the agent's intermediate goals and course of action.

研究の動機と目的

• 部分観測下における戦略的探索を通じて画像分類を実現するロボットベースの能動的視認システムの開発。
• 統一された深層強化学習フレームワークを用いて、目標計画、行動選択、画像分類を共同で設計する。
• 中間的な目標と行動を透明かつ解釈可能にすることで、説明可能な意思決定を可能にする。
• 直接的な行動シーケンスではなく、階層的探索を通じて分類性能を向上させること。
• 正則化技術の明示的適用なしに一般化性と頑健性を示すことで、完全畳み込みネットワークとグローバル平均プーリングの利点を活かす。

提案手法

• アーキテクチャは三層構造で構成される：上位の目標生成のためのメタ層、局所的ナビゲーションのためのアクション層、報酬評価と予測のための分類層。
• 一般化された方策勾配アルゴリズムを用いて、分類性能から導出された単一の統一報酬信号を最適化することで、すべての層を同時に学習する。
• メタ層は、正確な目標状態への到達を必要とせず、情報量の多い画像領域へ向かうように中間的な目標を選択する。
• アクション層は現在の目標に向かって行動を実行するが、環境が依然として部分的に観測可能である限り、途中で停止する柔軟性を有する。
• 分類層はエージェントの現在の観測を評価し、報酬を計算して予測を出力する。ここでは、グローバル平均プーリングを用いた完全畳み込みネットワークが使用される。
• システムはMNIST上でエンドツーエンドに訓練され、まず分類器を事前学習し、その後計画モジュールをファインチューニングする階層的訓練スケジュールが採用される。

実験結果

リサーチクエスチョン

• RQ1 部分観測下にあるロボットは、画像分類精度を向上させるためにどのように能動的に画像を探索すればよいか？
• RQ2 統一された報酬信号は、階層的深層強化学習フレームワークにおいて、計画モジュールと認識モジュールの両方を効果的に訓練できるか？
• RQ3 階層的目標計画は、ランダムまたは非階層的行動選択と比較して、分類性能にどの程度向上効果をもたらすか？
• RQ4 明示的な正則化技術なしに、モデルの性能は未観測のテストデータにどの程度一般化されるか？
• RQ5 中間的な目標と行動は、エージェントの意思決定プロセスにおける説明可能なステップとして解釈可能か？

主な発見

• モデルはMNISTデータセットで94.61% ± 0.17%のテスト精度を達成し、明示的な正則化がなくとも優れた一般化性能を示した。
• テストセットにおけるトップ2精度は98.30%に達し、真のラベルがモデルの予測上位2つに含まれる頻度が高いことが示された。
• 分類器を独立して評価したところ、完全な画像を用いた場合に94.92%のテスト精度を達成した。これは、計画モジュールが情報量の多い画像領域を効果的に特定したことを裏付けている。
• 事前学習済みのResNet-18を用いた転移学習により、学習時間が約10倍短縮され、95.19%のテスト精度を達成した。
• アブレーションスタディの結果、目標計画により予測誤差が約1/3削減され、さらに行動計画を追加することで、誤差はさらに1/3減少した。
• サンプル軌跡の分析から、エージェントが一貫して情報量の多い画像領域に注目していることが確認された。低信頼度の予測は、たとえば数字「4」の上部のような重要な特徴が十分にカバーされていない場合に多く発生していた。