[論文レビュー] Generating Correct Answers for Progressive Matrices Intelligence Tests

Niv Pekar, Yaniv Benny+1 more|arXiv (Cornell University)|Nov 1, 2020

Neural Networks and Applications参考文献 15被引用数 4

ひとこと要約

本論文は、複数選択肢に依存しない、Raven's Progressive Matrices (RPM) テストにおける正解の生成を目的とした新しいニューラルネットワークを提案する。これは選択ベースの手法よりもはるかに困難な課題である。マルチパスウェイ学習、動的変動損失、階層的符号化を用いた選択的知覚損失を組み合わせることで、ピクセル単位の類似性が低くても、正解パターンと一致する意味的に正確な画像を生成する。その結果、最先端の手法と同等の認識性能を達成する。

ABSTRACT

Raven's Progressive Matrices are multiple-choice intelligence tests, where one tries to complete the missing location in a $3 imes 3$ grid of abstract images. Previous attempts to address this test have focused solely on selecting the right answer out of the multiple choices. In this work, we focus, instead, on generating a correct answer given the grid, without seeing the choices, which is a harder task, by definition. The proposed neural model combines multiple advances in generative models, including employing multiple pathways through the same network, using the reparameterization trick along two pathways to make their encoding compatible, a dynamic application of variational losses, and a complex perceptual loss that is coupled with a selective backpropagation procedure. Our algorithm is able not only to generate a set of plausible answers, but also to be competitive to the state of the art methods in multiple-choice tests.

研究の動機と目的

• 複数選択肢にアクセスできない状況下でRaven's Progressive Matrices (RPM) テストの正解を生成する課題に対処すること。これは選択ベースの手法よりも深い理解を必要とする。
• 3×3の抽象的画像のグリッドにおける潜在的なパターンを学習することで、妥当な答えを合成する生成モデルを開発すること。
• 動的変動損失と選択的バックプロパゲーションの導入により、視覚的推論タスクにおける一般化と意味的推論を向上させること。
• 生成された答えが最先端の分類器によって正しく認識されるかどうかを評価し、モデルの意味的理解の程度を示すこと。
• プロシージャルに生成されたマトリクス（PGM）およびRAVEN-FAIRデータセットの両方で手法を検証し、異なるルール分布にわたる頑健性を示すこと。

提案手法

• モデルは再構成、認識、生成の3つの並列パスウェイを用い、表現を統一するための共有エンコーダーを備える。
• 再構成および生成パスウェイに動的変動損失を適用し、入力コンテキストに応じてランダムネスを調整することで、有害な一様ノイズを回避する。
• 再構成と生成タスクにおける潜在分布の整合性を保つために、再パラメータライゼーショントリックを2つのパスウェイに選択的に適用する。
• 階層的知覚損失を用い、事前学習済みネットワークからの特徴埋め込みを用いて、生成画像と正解および誤り候補を比較する。
• 選択的バックプロパゲーションにより、勾配が生成パスウェイにのみ更新されるようにし、知覚損失ネットワークの整合性を保つ。
• 認識パスウェイは補助分類器として機能し、第3行および第3列に対して関係モジュールを適用しない形で訓練され、意味的整合性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 複数選択肢にアクセスできない状況下で、ニューラルネットワークが正解のRPM回答を完全に生成可能であり、意味的に正確であるか？
• RQ2 変動オートエンコーダーは、複雑な視覚的推論タスクにおける部分的なランダムネスをサポートするために、どのように適合可能か？
• RQ3 階層的符号化を用いた知覚損失は、生成されたRPM回答の質および正しさをどの程度向上させるか？
• RQ4 同じ分類器で評価した場合、生成モデルは最先端の選択ベースのモデルと同等の認識精度を達成できるか？
• RQ5 モデルは、分布外のルールセットや偏りのないデータセット（例：RAVEN-FAIR）に一般化可能か？

主な発見

• PGMデータセットでは、人による評価で生成画像の70.1％が正解と判定された。これはランダム選択の6.4％と比べて顕著な意味的整合性を示している。
• 人による評価において、生成画像の63.3％が正解と判定された。これは正解画像の72.2％と比較してやや低いが、高い知覚的・意味的妥当性を示している。
• 補助認識分類器はRAVEN-FAIRで60.8％の精度を達成し、MRNet（86.8％）に次ぐ高い性能を示した。これはアーキテクチャ的制約にもかかわらず顕著な成果である。
• RAVEN-FAIRデータセットでは、生成精度が60.7％に達した。これはVAEで再構成された正解画像の69.5％と近く、ランダム生成の8.9％ベースラインとは著しく優れている。
• PGMの分布外「補間」領域では、生成精度が61.7％に達した。これはMRNetの認識タスクにおける68.1％に近い水準であり、優れた一般化性能を示している。
• モデルはRPM問題の大部分の潜在的ルールを的確に捉えており、特定のルールタイプの無視が最小限に抑えられており、強固なパターン学習が可能であることが示された。