[논문 리뷰] Solving ARC visual analogies with neural embeddings and vector arithmetic: A generalized method

Luca H. Thoms, Karel Veldkamp외 2명|arXiv (Cornell University)|2023. 01. 01.

Topic Modeling인용 수 1

한 줄 요약

이 논문은 변분 오토에인코더(VAE)를 사용해 이미지를 저차원 잠재 벡터로 인코딩한 후, 벡터 산술을 적용하여 누락된 출력을 추론함으로써 Abstraction and Reasoning Corpus (ARC)에서 시각적 유사성 문제를 해결하기 위한 일반화된 딥러닝 접근법을 제안한다. 이 방법은 ARC에서 2%의 정확도와 ConceptARC에서 8.8%의 정확도를 기록하며, 하드코딩된 규칙 없이도 추상적 시각적 추론 작업 전반에 걸쳐 일반화되는 단순한 연결주의 프레임워크임을 입증한다.

ABSTRACT

Analogical reasoning derives information from known relations and generalizes this information to similar yet unfamiliar situations. One of the first generalized ways in which deep learning models were able to solve verbal analogies was through vector arithmetic of word embeddings, essentially relating words that were mapped to a vector space (e.g., king – man + woman =__?). In comparison, most attempts to solve visual analogies are still predominantly task-specific and less generalizable. This project focuses on visual analogical reasoning and applies the initial generalized mechanism used to solve verbal analogies to the visual realm. Taking the Abstraction and Reasoning Corpus (ARC) as an example to investigate visual analogy solving, we use a variational autoencoder (VAE) to transform ARC items into low-dimensional latent vectors, analogous to the word embeddings used in the verbal approaches. Through simple vector arithmetic, underlying rules of ARC items are discovered and used to solve them. Results indicate that the approach works well on simple items with fewer dimensions (i.e., few colors used, uniform shapes), similar input-to-output examples, and high reconstruction accuracy on the VAE. Predictions on more complex items showed stronger deviations from expected outputs, although, predictions still often approximated parts of the item's rule set. Error patterns indicated that the model works as intended. On the official ARC paradigm, the model achieved a score of 2% (cf. current world record is 21 %) and on ConceptARC it scored 8.8\%. Although the methodology proposed involves basic dimensionality reduction techniques and standard vector arithmetic, this approach demonstrates promising outcomes on ARC and can easily be generalized to other abstract visual reasoning tasks.

연구 동기 및 목표

• 작업 특화 또는 기호 규칙 엔지니어링을 피하는 일반화된 연결주의적 시각적 유사성 추론 방법을 개발하는 것.
• 말뭉치 임베딩의 벡터 산술 성공을 언어적 유사성에 적용한 바를 시각 도메인에 확장하기 위해 신경망 임베딩을 사용하는 것.
• 차원 감소와 벡터 연산이 ARC 스타일의 작업에서 추상적 시각적 규칙을 포착하고 일반화할 수 있는지 평가하는 것.
• 개방형, 생성형 출력을 요구하는 복잡한 소수의 샘플 시각적 추론 문제에서 모델의 성능을 평가하는 것.

제안 방법

• 특화된 변분 오토에인코더(VAE)가 ARC 입력-출력 쌍을 구조적이고 속성 수준의 정보를 유지하면서 저차원 잠재 벡터로 인코딩하도록 훈련된다.
• 입력 및 출력 예제의 잠재 벡터를 사용해 간단한 벡터 산술(예: 출력 - 입력)을 통해 규칙 벡터를 계산한다.
• 새로운 풀지 못한 ARC 항목의 입력 격자에 대해 규칙 벡터를 입력의 잠재 표현에 더하여 적용한다.
• 결과로 생성된 잠재 벡터에서 디코더 네트워크가 예측된 출력을 복원하며, 예상 격자 크기에 맞게 스케일링을 적용한다.
• 모델은 추론 중에 입력 표현과 학습된 규칙 벡터를 결합하기 위해 다층퍼셉트론(MLP)을 사용한다.
• 이 방법은 완전히 미분 가능하고 엔드 투 엔드로 훈련 가능하며, 하드코딩된 규칙이나 기호 프로그램 유도가 없다.

실험 결과

연구 질문

• RQ1 학습된 시각적 임베딩의 벡터 산술이 ARC 벤치마크에서 추상적 시각적 유사성을 일반화하여 해결할 수 있는가?
• RQ2 VAE 기반의 잠재 공간이 소수의 샘플, 개방형 추론 작업에서 시각적 변환의 근본적 규칙을 얼마나 잘 포착하는가?
• RQ3 상태 기준 기호 또는 하이브리드 모델에 비해 순수하게 연결주의적 비기호적 방법이 ARC에서 어떤 성능을 보이는가?
• RQ4 재구성 정확도와 입력-출력 유사도가 모델이 정확한 시각적 유사성을 추론하는 데 미치는 영향은 무엇인가?
• RQ5 이 방법은 ARC를 초월한 다른 추상적 시각적 추론 작업으로 일반화될 수 있는가?

주요 결과

• 모델은 공식 ARC 벤치마크에서 2%의 테스트 정확도를 기록했으며, 현재 최고 수준의 21%에 비해 뚜렷이 낮았다.
• ConceptARC 벤치마크에서는 8.8%의 점수를 기록하여 유사하지만 다른 시각적 추론 작업으로의 일반화 능력을 암시했다.
• 색상 수가 적고, 형태가 균일하며, VAE 재구성 정확도가 높은 단순한 항목에서 성능이 가장 뛰어났다.
• 복잡한 항목에서는 예측 결과가 기대되는 출력에서 더 멀어졌지만, 종종 부분적인 규칙 세트를 근사하는 경향이 있었으며, 이는 모델이 근본적인 구조적 패턴을 포착하고 있음을 시사했다.
• 오류 분석을 통해 모델가 의도한 방식으로 작동하고 있음을 확인했으며, 일관된 편차는 규칙의 복잡성과 입력-출력의 이질성과 일치했다.
• 재구성 품질이 높을 경우 입력 변형에 대해 강건성을 보였고, 스케일링이 예측 결과의 시각적 타당성을 향상시켰다.