[論文レビュー] Measuring abstract reasoning in neural networks

David G. T. Barrett, Felix Hill+3 more|arXiv (Cornell University)|Jul 11, 2018

Neural Networks and Applications被引用数 143

ひとこと要約

この論文は Procedurally Generated Matrices (PGM) データセットを導入し、ニューラルネットワークの抽象的視覚推論を検証する。特殊な Relational Network (WReN) が標準の CNN/ResNet を上回り、補助的な意味的説明が一般化を改善することを示している。

ABSTRACT

Whether neural networks can learn abstract reasoning or whether they merely rely on superficial statistics is a topic of recent debate. Here, we propose a dataset and challenge designed to probe abstract reasoning, inspired by a well-known human IQ test. To succeed at this challenge, models must cope with various generalisation `regimes' in which the training and test data differ in clearly-defined ways. We show that popular models such as ResNets perform poorly, even when the training and test sets differ only minimally, and we present a novel architecture, with a structure designed to encourage reasoning, that does significantly better. When we vary the way in which the test questions and training data differ, we find that our model is notably proficient at certain forms of generalisation, but notably weak at others. We further show that the model's ability to generalise improves markedly if it is trained to predict symbolic explanations for its answers. Altogether, we introduce and explore ways to both measure and induce stronger abstract reasoning in neural networks. Our freely-available dataset should motivate further progress in this direction.

研究の動機と目的

• RPM inspiredマトリクスを用いた抽象的視覚推論をニューラルネットで原理的に探究する動機付けと公式化。
• 明示的な抽象意味論と複数の一般化 regimes を持つ、制御可能で自動生成された PGM データセットを作成する。
• 標準的なアーキテクチャを新しい関係性に焦点を当てたネットワークと比較し、推論に必要な誘導バイアスを特定する。
• 領域間での一般化の限界を調査し、補助的な記号的説明が性能を改善するかを評価する。

提案手法

• 定義された関係・オブジェクト・属性の三つ組からRPM風のマトリクスを手続き的に生成する。
• 複数のベースライン（CNN-MLP、ResNet系、LSTM）と新しいWild Relational Network (WReN) を評価する。
• Relation Networkコアを用いてパネル間の関係を計算し、候補解をスコアリングする。
• Adamオプティマイザで訓練し、保持された検証セット上でハイパーパラメータ探索を実施する。
• シンボリックな関係/オブジェクト/属性タイプを予測する補助的なメタターゲット訓練を実験する（二値メタターゲット）。
• 中立、補間、外挿、および保持された属性/三つ組の regime における性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 十分なデータで訓練すれば、最先端のニューラルネットは複雑な抽象推論タスクを解けるのか？
• RQ2 制御されたレジームシフト（補間、外挿、保持された成分）を跨いで、モデルは抽象推論をどの程度一般化できるか？

主な発見

• CNNsと標準的なResNetsは、全体的なRPM風推論タスクで性能が低い。
• Wild Relational Network (WReN) は、パネル間の組み合わせ関係をモデル化することでベースラインを大幅に上回る。
• 一般化は補間と新規組み合わせのレジームで最も強く、外挿と全く新しい属性では弱い。
• 補助的な記号的メタターゲットを用いた訓練は全体の性能を約14%向上させ、特に新規組み合わせで一般化を強化する。
• メタターゲットの予測確信度はタスク精度と相関し、推論の説明が有用であることを示している。