[論文レビュー] Resonator networks for factoring distributed representations of data structures

E. Paxon Frady, Spencer J. Kent+2 more|arXiv (Cornell University)|Jul 7, 2020

Neural Networks and Reservoir Computing参考文献 45被引用数 9

ひとこと要約

この論文は、分散表現からの複雑で階層的なデータ構造（木構造や視覚的シーンなど）の復号を可能にする、ベクトル的対象アーキテクチャ（VSAs）における組み合わせ的要因分解問題を効率的に解ける、新しい再帰的ニューラルネットワークアーキテクチャ「リゾネータネットワーク」を導入する。この手法は、VSA乗算とパターン補完を交互に実行することで、高次元の積ベクトルを要因分解し、最小限の計算で構造的データを効率的に解析するという、優れた性能を示している。

ABSTRACT

The ability to encode and manipulate data structures with distributed neural representations could qualitatively enhance the capabilities of traditional neural networks by supporting rule-based symbolic reasoning, a central property of cognition. Here we show how this may be accomplished within the framework of Vector Symbolic Architectures (VSA) (Plate, 1991; Gayler, 1998; Kanerva, 1996), whereby data structures are encoded by combining high-dimensional vectors with operations that together form an algebra on the space of distributed representations. In particular, we propose an efficient solution to a hard combinatorial search problem that arises when decoding elements of a VSA data structure: the factorization of products of multiple code vectors. Our proposed algorithm, called a resonator network, is a new type of recurrent neural network that interleaves VSA multiplication operations and pattern completion. We show in two examples -- parsing of a tree-like data structure and parsing of a visual scene -- how the factorization problem arises and how the resonator network can solve it. More broadly, resonator networks open the possibility to apply VSAs to myriad artificial intelligence problems in real-world domains. A companion paper (Kent et al., 2020) presents a rigorous analysis and evaluation of the performance of resonator networks, showing it out-performs alternative approaches.

研究の動機と目的

• ベクトル的対象アーキテクチャ（VSAs）によって符号化された複雑で階層的なデータ構造を復号する課題に取り組むこと。これは、困難な組み合わせ的探索問題を解く必要がある。
• VSAsにおける複数の高次元コードベクトルの積を、生物学的に妥当で計算的に効率的な方法で要因分解する手法を開発すること。
• ニューラルネットワークが、複合的なデータ構造の分散表現から構成素子を復号することで、記号的推論を実現すること。
• リゾネータネットワークが、視覚的シーンの解析や木構造の分解といった実世界のAIタスクにおける有用性を実証すること。
• VSAsベースの推論システムにおいて、ブルートフォース法や深さ制限付き手法の代替としてスケーラブルな手法を提供すること。

提案手法

• リゾネータネットワークを、VSA乗算とパターン補完の操作を交互に繰り返す再帰的ニューラルネットワークアーキテクチャとして提案する。
• フィードバック機構を用いて、積表現に含まれる構成ベクトルの推定値を繰り返し精緻化する。
• データ構造をホログラフィックに表現するため、固定サイズの高次元ベクトル空間（例：500次元）を用いる。これにより構造的情報を保持する。
• 最近傍探索または自己関連的リトリーブを用いてパターン補完を実行し、積から個々のコードベクトルを回復する。
• VSA理論における並べ替えと乗算の操作を統合し、階層的表現を構築および操作する。
• 入力データ（例：画像）を記号的VSAs表現にマップするためのハイブリッドトレーニングアプローチを採用し、構成的構造を符号化する。

実験結果

リサーチクエスチョン

• RQ1 リゾネータネットワークは、VSAsにおける複数のコードベクトルの積からなる高次元積ベクトルの要因分解を、効率的に解けるか？
• RQ2 リゾネータネットワークは、木構造や視覚的シーンといった階層的データ構造を、分散表現から効果的に解析できるか？
• RQ3 リゾネータネットワークは、正確性と計算効率の両面でブルートフォース法や深さ制限付きVSA復号戦略を上回る性能を示せるか？
• RQ4 リゾネータネットワークは、エンドツーエンドのブラックボックス学習に依存せずに、ニューラルネットワークにおける記号的推論をどの程度サポートできるか？
• RQ5 リゾネータネットワークは、複雑で組み合わせ的に大きな空間において、ディープラーニングパイプラインに統合され、構造的推論を可能にするか？

主な発見

• リゾネータネットワークは、木構造や視覚的シーンといった複雑なデータ構造を表す高次元積ベクトルを、高い正確性で要因分解できた。
• ブルートフォースによる列挙や単純な自己関連的手法と比較して、精度と計算効率の両面で優れた性能を示した。
• 視覚的シーンの解析において、1つの500次元ベクトルを用いて、最大2億5千万通りの可能なオブジェクト・属性の組み合わせを処理できた。
• ノイズや干渉に対して高い耐性を示し、中程度の摂動下でも正確な要因分解を維持した。
• 要因分解によってデータ構造の個々のコンponentsを露わにし、操作することで、ニューラルネットワークにおける記号的推論を可能にした。
• 併行評価論文（Kent et al., 2020）は、既存の手法と比較して、リゾネータネットワークが要因分解タスクで優れた性能を達成していることを確認している。