[論文レビュー] Towards Grounding Conceptual Spaces in Neural Representations

Lucas Bechberger, Kai‐Uwe Kühnberger|arXiv (Cornell University)|Jun 15, 2017

Neural Networks and Applications参考文献 15被引用数 3

ひとこと要約

本稿では、InfoGANが学習した潜在表現に概念的空間の次元を根拠づける手法を提案し、形状のような知覚ドメインの教師なし発見を可能にしている。ニューラル特徴抽出器を介して感覚入力を概念的空間の点にマッピングし、クラスタリングを用いて概念を定義することで、ラベルなしデータを用いた教師なし概念学習と段階的更新が可能となる。

ABSTRACT

The highly influential framework of conceptual spaces provides a geometric way of representing knowledge. It aims at bridging the gap between symbolic and subsymbolic processing. Instances are represented by points in a high-dimensional space and concepts are represented by convex regions in this space. In this paper, we present our approach towards grounding the dimensions of a conceptual space in latent spaces learned by an InfoGAN from unlabeled data.

研究の動機と目的

• 概念的空間が手作業で設計された次元に依存するという限界を克服するため、学習されたニューラル表現に概念的空間を根拠づける。
• 深層生成モデルを用いて、特に形状のような複雑なものも含む知覚ドメインの教師なし学習を可能にする。
• ニューラル特徴抽出器を概念的空間フレームワークと統合し、ハイブリッド記号的・準記号的表現システムを構築する。
• クラスタリングに基づく手法を用いて、教師なしで概念を発見し、ニューラルネットワークの再訓練なしに概念空間内の概念を段階的に更新する。
• InfoGANの分離済み潜在空間が、概念的表現の解釈可能なドメインとして機能できることを示すこと。

提案手法

• 教師なしデータから、特に形状のような視覚ドメインに対して、分離可能で解釈可能な潜在表現をInfoGANで学習する。
• 訓練済みのInfoGANの識別器から潜在コードを抽出し、それらを概念的空間のドメイン座標として用いる。
• 固定された特徴抽出器（例：色のHSB、形状のInfoGAN）を用いて、知覚入力（例：画像）を概念的空間の点にマッピングする。
• 各ドメインの潜在空間におけるクラスタリングにより、概念を凸領域として定義する。
• 新しい観測値を既存の概念領域に属するかをチェックすることで分類し、新しいインスタンスがどの概念とも一致しない場合には領域を動的に更新する。
• 事前学習後のニューラルネットワーク重みを維持し、それらを固定された前処理ステップとして使用してドメイン座標を生成する。

実験結果

リサーチクエスチョン

• RQ1 InfoGANが学習した潜在空間は、概念的空間フレームワークにおいて有効で解釈可能なドメインとして機能するか？
• RQ2 潜在表現の教師なしクラスタリングは、概念的空間における概念の発見と表現にどのように利用できるか？
• RQ3 ニューラルネットワークの再訓練なしに、新しい観測に基づいて概念境界を段階的に更新できるか？
• RQ4 手作業による次元設計が困難な形状のような知覚ドメインにおいて、ニューラル表現が抽象的概念をどの程度根拠づけることができるか？
• RQ5 記号的概念と準記号的ニューラル表現を、幾何的推論や類似性判断を支援する形でどのように結びつけることができるか？

主な発見

• InfoGANの分離済み潜在表現は、特に形状のような複雑な知覚ドメインに対して、概念的空間のドメインを定義するのに適した基盤を提供する。
• 学習済み潜在空間におけるクラスタリングにより、教師なしの概念発見が可能となり、概念が概念的空間内の凸領域として表現できる。
• 新しい観測に基づいて、ニューラルネットワークの再訓練なしに、領域の拡張または再配置によって概念を段階的に更新できる。
• 本手法は、分類と概念学習を統合されたフレームワークでサポートし、推論時や更新時における明示的なラベルの必要がない。
• 本手法は、準記号的ニューラル表現と記号的概念的推論を効果的に統合し、類似性や所属関係のチェックといった幾何的操作を可能にする。
• 色（手作業で設計されたHSB）と形状（InfoGANで学習された）のドメインを用いた概念実証システムを提示し、実世界での応用可能性を示した。