[論文レビュー] Solving ARC visual analogies with neural embeddings and vector arithmetic: A generalized method

Luca H. Thoms, Karel Veldkamp+2 more|arXiv (Cornell University)|Jan 1, 2023

Topic Modeling被引用数 1

ひとこと要約

本論文は、変分オートエンコーダー（VAE）を用いて画像を低次元の潜在ベクトルに符号化し、その後でベクトル演算を適用することで、Abstraction and Reasoning Corpus（ARC）における視覚的類似性の解決を目的とした一般化された深層学習アプローチを提案する。この手法はARCで2%の精度を達成し、ConceptARCでは8.8%を記録した。これは、ハードコーディングされたルールを含まずに、抽象的視覚的推論タスクに一般化可能な単純な接続主義フレームワークであることを示している。

ABSTRACT

Analogical reasoning derives information from known relations and generalizes this information to similar yet unfamiliar situations. One of the first generalized ways in which deep learning models were able to solve verbal analogies was through vector arithmetic of word embeddings, essentially relating words that were mapped to a vector space (e.g., king – man + woman =__?). In comparison, most attempts to solve visual analogies are still predominantly task-specific and less generalizable. This project focuses on visual analogical reasoning and applies the initial generalized mechanism used to solve verbal analogies to the visual realm. Taking the Abstraction and Reasoning Corpus (ARC) as an example to investigate visual analogy solving, we use a variational autoencoder (VAE) to transform ARC items into low-dimensional latent vectors, analogous to the word embeddings used in the verbal approaches. Through simple vector arithmetic, underlying rules of ARC items are discovered and used to solve them. Results indicate that the approach works well on simple items with fewer dimensions (i.e., few colors used, uniform shapes), similar input-to-output examples, and high reconstruction accuracy on the VAE. Predictions on more complex items showed stronger deviations from expected outputs, although, predictions still often approximated parts of the item's rule set. Error patterns indicated that the model works as intended. On the official ARC paradigm, the model achieved a score of 2% (cf. current world record is 21 %) and on ConceptARC it scored 8.8\%. Although the methodology proposed involves basic dimensionality reduction techniques and standard vector arithmetic, this approach demonstrates promising outcomes on ARC and can easily be generalized to other abstract visual reasoning tasks.

研究の動機と目的

• タスク固有のルールや記号的ルールの設計を回避する、一般化可能で接続主義的な視覚的類似推論手法の開発。
• 言語的類似性における単語埋め込みのベクトル演算の成功を、ニューラル埋め込みを用いて視覚ドメインに適応すること。
• 次元削減とベクトル演算が、ARC風のタスクにおける抽象的視覚ルールを捉え、一般化できるかの評価。
• オープンエンドで生成的な出力を要する複雑な、少数の例に依存する視覚的推論問題におけるモデルの性能の評価。

提案手法

• 独自に設計した変分オートエンコーダー（VAE）を用いて、ARCの入力・出力ペアを低次元の潜在ベクトルに符号化し、構造的および属性レベルの情報を保持する。
• 入力および出力の例から得られた潜在ベクトルを用いて、単純なベクトル演算（例：出力 - 入力）によりルールベクトルを計算する。
• 新しい未解決のARCアイテムの入力グリッドに対して、その潜在表現にルールベクトルを加算することでルールを適用する。
• 得られた潜在ベクトルからデコーダーネットワークを用いて予測出力を再構築し、期待されるグリッド次元に一致させるためにスケーリング処理を適用する。
• 推論中に、入力表現と学習されたルールベクトルを組み合わせるために多層パーセプトロン（MLP）を用いる。
• アプローチは完全に微分可能であり、エンドツーエンドで学習可能であり、ハードコーディングされたルールや記号的プログラム導出を含まない。

実験結果

リサーチクエスチョン

• RQ1 学習された視覚的埋め込みにおけるベクトル演算が、ARCベンチマークにおける抽象的視覚的類似性の解決に一般化可能か。
• RQ2 VAEベースの潜在空間が、少数の例に依存するオープンエンドの推論タスクにおける視覚的変換の背後にあるルールをどれほど正確に捉えられるか。
• RQ3 状態アートの記号的またはハイブリッドモデルと比較して、純粋に接続主義的で非記号的な手法がARCでどの程度の性能を示すか。
• RQ4 再構築精度と入出力の類似性が、正しい視覚的類似性を推論する能力にどのように影響するか。
• RQ5 この手法は、ARCを越えて他の抽象的視覚的推論タスクにも一般化可能か。

主な発見

• 本モデルは公式のARCベンチマークで2%のテスト精度を達成したが、現在の最先端（21%）と比べて顕著に低い。
• ConceptARCベンチマークでは8.8%のスコアを記録し、類似したが異なる視覚的推論タスクへのある程度の一般化能力を示した。
• 色が少なく、形状が均一で、VAEの再構築精度が高い単純な問題で、性能が最も高かった。
• 複雑な問題では、予測結果が期待される出力からずれやすかったが、しばしば部分的なルールセットを近似しており、モデルが根本的な構造的パターンを捉えている可能性を示唆した。
• 誤差解析により、モデルは意図した通りに動作しており、一貫したずれがルールの複雑さや入出力の類似性の低さと一致した。
• 再構築品質が高い場合には、入力の変化に対してもモデルのロバスト性が確認され、スケーリング処理により予測の視覚的妥当性が向上した。