[論文レビュー] Learning to See Analogies: A Connectionist Exploration

Douglas Blank|arXiv (Cornell University)|Jan 18, 2020

Cognitive Science and Education Research参考文献 119被引用数 8

ひとこと要約

この論文では、特別な関連学習手順を用いて、例を通じて類推を学ぶことができる再帰的接続主義的ネットワーク、Analogator を紹介している。入力シーンを図形と背景に分割する能力を学習することで、複数の類推例にさらされることで類推的推論能力が発現し、類推の生成が事前にプログラムされたものではなく、知覚的学習から生じうることを示している。

ABSTRACT

This dissertation explores the integration of learning and analogy-making through the development of a computer program, called Analogator, that learns to make analogies by example. By "seeing" many different analogy problems, along with possible solutions, Analogator gradually develops an ability to make new analogies. That is, it learns to make analogies by analogy. This approach stands in contrast to most existing research on analogy-making, in which typically the a priori existence of analogical mechanisms within a model is assumed. The present research extends standard connectionist methodologies by developing a specialized associative training procedure for a recurrent network architecture. The network is trained to divide input scenes (or situations) into appropriate figure and ground components. Seeing one scene in terms of a particular figure and ground provides the context for seeing another in an analogous fashion. After training, the model is able to make new analogies between novel situations. Analogator has much in common with lower-level perceptual models of categorization and recognition; it thus serves as a unifying framework encompassing both high-level analogical learning and low-level perception. This approach is compared and contrasted with other computational models of analogy-making. The model's training and generalization performance is examined, and limitations are discussed.

研究の動機と目的

• 類推的推論がモデルに事前に定義されているのではなく、学習から生じる可能性があるかどうかを調査すること。
• 低レベルの知覚と高レベルの類推的推論を統合する計算フレームワークを構築すること。
• 再帰的ネットワークを訓練し、シーン内の図形と背景の成分を特定させ、新たな状況間での類推的転送を可能にすること。
• 大多数の類推モデルが類推メカニズムを事前に定義しているという仮定に挑戦し、それらが学習可能であることを示すこと。

提案手法

• 特別な関連学習手順を用いて、入力シーンを図形と背景に分割するように、再帰的ニューラルネットワークアーキテクチャを訓練する。
• モデルは類推問題とその解答のペアを学習し、入力を適切な類推的構造にマッピングする能力を学ぶ。
• 訓練は、ソースとターゲットの状況間の正しい類推的マッピングを予測する誤差を最小化することを含む。
• ネットワークは、多様な入力シーン間で構造的類似性を認識することで一般化を学び、それらが潜在的な関係的構造を共有する場合に類似すると扱う。
• 内部表現の分析を通じて、類推的構造がどのように符号化され、再構築されるかを評価する。
• 他の類推生成の計算モデルと比較し、本手法の学習ベースで知覚に根ざした性質を強調する。

実験結果

リサーチクエスチョン

• RQ1 類推的推論は、モデルに明示的にプログラミングされているのではなく、学習から生じる可能性があるか？
• RQ2 接続主義的ネットワークは、多様な入力シーンにわたって類推的構造を識別・適用する能力をどのように学ぶことができるか？
• RQ3 類推の例を学習したモデルが、新規で未観測の類推問題にどの程度一般化できるか？
• RQ4 図形と背景の分割が、ニューラルネットワークにおける類推的推論を可能にする役割を果たすか？
• RQ5 この学習ベースのアプローチは、記号的または事前に定義されたメカニズムに基づく類推モデルと比べてどのように異なるか？

主な発見

• Analogator は、多様な類推問題とその解答のセットを学習した後、新規の状況間で類推を正しく行う能力を習得している。
• モデルがシーンを図形と背景に分割する能力が、類推的構造の特定と転送の実現に不可欠である。
• 訓練データの増加に伴い一般化性能が向上するため、類推的推論が多数の例へのさらされることから生じるという兆候が得られた。
• モデルは、類推的推論が知覚処理に根ざしていることを示しており、低レベルの知覚と高レベルの認知の境界を曖昧にしている。
• 本手法は、単一の接続主義的アーキテクチャ内で分類、認識、類推的推論を統合する包括的なフレームワークを提供している。
• 制限事項として、入力表現に敏感であること、および非常に抽象的または非知覚的な類推に対処するのが難しいことが挙げられる。