[論文レビュー] Learning to Make Analogies by Contrasting Abstract Relational Structure

Felix Hill, Adam Santoro+3 more|arXiv (Cornell University)|Jan 31, 2019

Multimodal Machine Learning Applications参考文献 29被引用数 42

ひとこと要約

この論文は、ニューラルネットワークが抽象的な関係構造（LABC）を対比する訓練を通じて柔軟な類推を行えることを示し、新しい領域への転移と視覚タスクおよび記号タスクの一般化を改善する。

ABSTRACT

Analogical reasoning has been a principal focus of various waves of AI research. Analogy is particularly challenging for machines because it requires relational structures to be represented such that they can be flexibly applied across diverse domains of experience. Here, we study how analogical reasoning can be induced in neural networks that learn to perceive and reason about raw visual data. We find that the critical factor for inducing such a capacity is not an elaborate architecture, but rather, careful attention to the choice of data and the manner in which it is presented to the model. The most robust capacity for analogical reasoning is induced when networks learn analogies by contrasting abstract relational structures in their input domains, a training method that uses only the input data to force models to learn about important abstract features. Using this technique we demonstrate capacities for complex, visual and symbolic analogy making and generalisation in even the simplest neural network architectures.

研究の動機と目的

• 抽象的な関係構造に焦点を当てることで、ニューラルネットワークにアナロジー的推論を動機づけ、可能にする。
• Learning Analogies by Contrasting（LABC）と呼ばれる訓練法を提案し、評価する。
• 視覚的および記号的設定のいずれにおいても、新規ドメイン、ターゲットドメイン、ドメイン値への一般化を実証する。

提案手法

• 画像パネルごとに埋め込みを抽出するためのCNNの知覚フロントエンドを使用する。
• 4回のパスを介して候補の完成度を評価するため、RNNで系列を処理し、スコアに対してsoftmaxを適用する。
• 表面的な類似性を超えた抽象化を促すよう、誤答が意味的・妥当な関連を持つ対比目的で訓練する。
• 一般化を検証するため、複数のアーキテクチャにおいてLABCを通常の訓練と比較する。
• 同様の対比訓練方式を用いて、記号的なアナロジータスクへアプローチを拡張する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、表面的な特徴ではなく抽象的な関係構造に焦点を当てることで、柔軟なアナロジーを学習できるか。
• RQ2 対比的な関係構造（LABC）を用いた訓練は、新規ドメイン、ターゲットドメイン、未知の属性値への一般化を改善するか。
• RQ3 LABCの利点はアーキテクチャ依存か、それとも異なるネットワークモデルに渡って一般化可能か。
• RQ4 LABCは視覚入力を超えた記号的・離散ドメインのアナロジー問題へ拡張可能か。

主な発見

Model	LABC Accuracy (mean, SD)	Normal Accuracy (mean, SD)
RNN (this paper)	0.90 (0.01)	0.79 (0.09)
ResNet-50	0.82 (0.02)	0.77 (0.10)
Parallel ResNet-50	0.89 (0.01)	0.75 (0.14)
Parallel Relation Net (WReN)	0.95 (0.017)	0.72 (0.21)

• LABCは新規ドメイン転送を伴う堅牢な類推推論を可能にし、対比重視のテスト問題で約83％の精度を達成、ランダム回答では約58％。
• 新規ターゲットド domains では、LABCは対比テストでおおよそ80％前後の高い精度を維持し、ランダム回答のベースライン（おおむね60％）より高い。
• 見たことのない値への外挿を著しく改善（例：対比訓練62％対ランダム43％）、対比訓練とランダム訓練の両方を組み合わせると均衡の取れた向上をもたらす。
• アーキテクチャ全般（RNN、ResNet-50、Parallel ResNet-50、Parallel Relation Net）において、LABCは通常の訓練と比較して新規ドメイン転送タスクで一貫して性能を向上させる。
• LABCは隠れ状態空間でより明確な関係表現を促進し、LABCで訓練されたモデルには関係中心のクラスタリングが観察される。
• 記号的アナロジーでは、明示的 LAB C（LABC; explicit SMT）は約89%のテスト精度を達成し、他の訓練方式を上回る（例：さまざまな手法で0.62–0.77）。