[論文レビュー] Interpretable Latent Spaces for Learning from Demonstration

Yordan Hristov, Alex Lascarides+1 more|arXiv (Cornell University)|Jul 17, 2018

Natural Language Processing Techniques被引用数 15

ひとこと要約

本論文は、教師あり分類損失を用いて潜在次元と概念グループの間の直交性を強制することで、変分オートエンコーダー内の学習された潜在表現をユーザー定義の意味的概念（例：色、サイズ、形状）に一致させるフレームワークを提案する。この手法により、分離可能で解釈可能な表現が得られ、1-NN分類および未知概念検出が安定して実行可能となり、β-VAEなどのベースラインモデルよりも概念一致度とオープンワールド認識性能で優れる。

ABSTRACT

Effective human-robot interaction, such as in robot learning from human demonstration, requires the learning agent to be able to ground abstract concepts (such as those contained within instructions) in a corresponding high-dimensional sensory input stream from the world. Models such as deep neural networks, with high capacity through their large parameter spaces, can be used to compress the high-dimensional sensory data to lower dimensional representations. These low-dimensional representations facilitate symbol grounding, but may not guarantee that the representation would be human-interpretable. We propose a method which utilises the grouping of user-defined symbols and their corresponding sensory observations in order to align the learnt compressed latent representation with the semantic notions contained in the abstract labels. We demonstrate this through experiments with both simulated and real-world object data, showing that such alignment can be achieved in a process of physical symbol grounding.

研究の動機と目的

• ヒューマンデモ学習における物理的シンボルの接地を可能にするために、学習された潜在表現を人間が定義した意味的概念に一致させる。
• 各変動要因（例：色、サイズ）が別々の線形分離可能な潜在次元に符号化されることを保証し、解釈可能性を確保する。
• 統一された潜在空間を用いて、既知および未知の概念の堅牢な推論（オープンワールド認識）を可能にする。
• 弱教師ありのヒューマンデモを活用することで、サンプル効率の向上とモデルの解釈可能性を向上させる。
• 合成および現実世界の設定において、最小限のヒューマン入力からの分離可能で解釈可能な表現の学習が可能であることを実証する。

提案手法

• 各ユーザー定義概念グループごとに1つの補助分類ヘッドを持つ変分オートエンコーダー（VAE）を訓練し、各分類器は1つの潜在次元からラベルを予測する。
• 各分類器は、潜在空間において線形分離可能な決定境界を生成するように訓練され、各概念グループが別個の基底ベクトルに沿って符号化されることを保証する。
• 損失関数は、VAEの再構成損失と補助分類器からの交差エントロピー損失を組み合わせており、分離性と概念固有の表現を促進する。
• 訓練後、各ラベルクラスごとに1次元正規分布を推定し、未知ラベルの間隔分布を用いて1-NN分類を実行する。
• 未知のインスタンスが既知のクラス分布の外側に位置する場合に潜在活性化が外れることを活用し、不確実性をモデル化することでオープンワールド認識を実現する。
• 本手法は、人間がアノテートしたシンボルで定義された概念グループを用いて、合成データ（dSpritesに色を追加）およびヒューマンデモから得た現実世界のオブジェクトデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、各変動要因（例：色、サイズ）が別個の直交する潜在次元に符号化されるような、分離可能で解釈可能な潜在空間を学習できるか？
• RQ2 このような表現は、既知の概念の堅牢な1-NN分類と未知概念の検出（オープンワールド認識）を可能にするか？
• RQ3 β-VAEなどの教師なしベースラインと比較して、本手法は概念一致度および未学習データへの一般化性能で優れているか？
• RQ4 弱教師ありのヒューマンデモのみを用いて、本フレームワークは現実世界のロボット操作タスクに一般化可能か？
• RQ5 潜在空間における概念グループ間の直交性を強制することで、解釈性および下流タスクの推論性能が向上するか？

主な発見

• 完全モデルは、学習された基底ベクトルと意味的概念との間に高いコサイン類似度（例：赤は0.98、小は0.93）を達成しており、軸の整合性が強いことが示された。
• 分類器のみのベースラインは、既知クラス分類では同等の性能を示したが、未知の検出に失敗しており、dSpritesでは未知のF1スコアがα=0のとき0.29、γ=0のとき0.23に低下した。
• β-VAEベースラインは軸の整合性を維持できず、色やサイズの概念が複数の潜在次元に散らばって符号化されており、解釈性が著しく低いことが判明した。
• 現実世界データでは、完全モデルが青（F1=0.87）、赤（F1=0.86）、未知（F1=0.95）で高いスコアを達成し、既知および未知のインスタンスの両方で優れた性能を示した。
• α=1、γ≠0のモデルが、既知と未知の検出の両面で最良のバランスを達成し、dSpritesでは青（F1=0.88）、赤（F1=0.98）、未知（F1=0.87）のスコアを示した。
• 本フレームワークは、クラスごとに1次元正規分布と未知クラスの間隔分布を用いた1-NN分類を成功裏に実現し、オープンワールド推論を支援した。