[論文レビュー] Abstract Diagrammatic Reasoning with Multiplex Graph Networks

Duo Wang, Mateja Jamnik+1 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Graph Neural Networks参考文献 28被引用数 26

ひとこと要約

MXGNet は、図解的推論を、オブジェクトレベルの表現を学習し、図のパネル間の多関係的依存関係を捉えることでモデル化する、マルチレイヤー・マルチプレックス・グラフニューラルネットワークである。図式的三段論法（99.8%の正確性）およびレーウェンプログレッシブマトリクスベンチマーク（PGMで89.6%、RAVENで83.91%）において、最先端の性能を達成し、より優れた一般化能力と表現変化に対するロバスト性を示した。

ABSTRACT

Abstract reasoning, particularly in the visual domain, is a complex human ability, but it remains a challenging problem for artificial neural learning systems. In this work we propose MXGNet, a multilayer graph neural network for multi-panel diagrammatic reasoning tasks. MXGNet combines three powerful concepts, namely, object-level representation, graph neural networks and multiplex graphs, for solving visual reasoning tasks. MXGNet first extracts object-level representations for each element in all panels of the diagrams, and then forms a multi-layer multiplex graph capturing multiple relations between objects across different diagram panels. MXGNet summarises the multiple graphs extracted from the diagrams of the task, and uses this summarisation to pick the most probable answer from the given candidates. We have tested MXGNet on two types of diagrammatic reasoning tasks, namely Diagram Syllogisms and Raven Progressive Matrices (RPM). For an Euler Diagram Syllogism task MXGNet achieves state-of-the-art accuracy of 99.8%. For PGM and RAVEN, two comprehensive datasets for RPM reasoning, MXGNet outperforms the state-of-the-art models by a considerable margin.

研究の動機と目的

• 図式的タスク、特にレーウェンプログレッシブマトリクス（RPM）や図式的三段論法のようなマルチパネル推論のシナリオにおける抽象的視覚的推論の課題に対処すること。
• 複数の図パネルにまたがる複雑な多層的関係を捉えられていない既存のモデルの限界を改善すること。
• オブジェクトレベルの表現とマルチプレックス・グラフ構造を統合するグラフベースのアーキテクチャを構築し、色、形状、位置などの多様な関係を同時にモデル化すること。
• パネル間で階層的で要約可能なグラフ表現を学習することで、推論タスクにおける一般化能力を向上させること。
• ロボットアセンブリなどの実世界のタスクに拡張可能な、ロバストで解釈可能な図解的推論フレームワークを提供すること。

提案手法

• MXGNet は、特徴抽出モジュールを用いて、すべての図パネル内の要素からオブジェクトレベルの表現を抽出する。
• 各レイヤーが図パネルに対応するマルチレイヤー・マルチプレックス・グラフを構築し、エッジはオブジェクト間の複数の属性（例：色、形状、位置）を符号化する。
• 階層的グラフ要約モジュールは、複数のグラフにまたがる関係埋め込みを集約し、推論タスクの高レベル表現を生成する。
• モデルは、要約されたグラフ特徴に基づいて、候補オプションから正しい答えを予測するための推論ネットワークを用いる。
• オブジェクトレベル表現の2種類のバリエーション（標準的なCNN特徴と空間アテンション特徴）をサポートしており、両方とも高い性能を示した。
• 補助的な監視なしに、ターゲット予測のためのクロスエントロピー損失を用いて、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 マルチレイヤー・マルチプレックス・グラフニューラルネットワークは、抽象的推論タスクにおける複数の図パネルにまたがる複雑な多関係的依存関係を効果的にモデル化できるか？
• RQ2 MXGNet のグラフベースのアプローチは、WReN や ResNet といった先行モデルと比較して、RPM スタイルのデータセットにおける正確性と一般化能力で優れているか？
• RQ3 PGM データセットにおいて、MXGNet は、内挿と外挿の分布外テスト環境にどの程度一般化できるか？
• RQ4 マルチプレックス・グラフの使用は、単一関係または非マルチプレックス化されたグラフモデルと比較して、図解的推論のパフォーマンスを向上させるか？
• RQ5 MXGNet は、CNN や空間アテンション特徴を含む、さまざまなオブジェクトレベル表現タイプにおいても高いパフォーマンスを維持できるか？

主な発見

• MXGNet は、オイラー図式的三段論法タスクで 99.8% の正確性を達成し、新たな最先端のベンチマークを樹立した。
• PGM データセットでは、ニュートラルスプリットで 89.6% のテスト正確性を達成し、WReN の 76.9% を 12.7 パcentポイント上回った。
• RAVEN データセットでは、補助的トレーニングなしで 83.91% のテスト正確性を達成し、追加の監視を用いた最良の先行モデル（59.56%）を上回った。
• MXGNet は、特に「内挿」と「外挿」の環境において優れた一般化能力を示し、WReN と比較して検証精度とテスト精度の差が小さかった。
• CNN 特徴と空間アテンション特徴の両方を用いた MXGNet のバリエーションは、PGM および RAVEN データセットの両方で、既存のモデルを上回るテスト正確性を達成した。
• モデルはオブジェクトレベル表現の変化に対してロバストであるが、空間アテンション特徴は、低い訓練損失にもかかわらず過学習の可能性があるため、CNN 特徴に比べてわずかに性能が劣った。