[논문 리뷰] Are Deep Neural Networks SMARTer than Second Graders?

Anoop Cherian, Kuan–Chuan Peng외 3명|arXiv (Cornell University)|2022. 12. 20.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 산수, 공간적 추론, 대수적 추론이 필요한 101개의 어린이 퍼즐로 구성된 시각어휘적 데이터셋인 SMART-101을 소개한다. 이는 지도학습을 초월한 딥 뉴럴 네트워크의 일반화 및 추론 능력을 평가하기 위한 것이다. 훈련 데이터에서 뛰어난 성능을 보였음에도 불구하고 모델들은 일반화에 실패하며, GPT-3.5와 GPT-4조차도 타당한 추론을 하면서도 잘못된 답변을 내놓는다. 이는 진정한 추상화와 알고리즘적 추론 능력의 한계를 드러낸다.

ABSTRACT

Recent times have witnessed an increasing number of applications of deep neural networks towards solving tasks that require superior cognitive abilities, e.g., playing Go, generating art, ChatGPT, etc. Such a dramatic progress raises the question: how generalizable are neural networks in solving problems that demand broad skills? To answer this question, we propose SMART: a Simple Multimodal Algorithmic Reasoning Task and the associated SMART-101 dataset, for evaluating the abstraction, deduction, and generalization abilities of neural networks in solving visuo-linguistic puzzles designed specifically for children in the 6--8 age group. Our dataset consists of 101 unique puzzles; each puzzle comprises a picture and a question, and their solution needs a mix of several elementary skills, including arithmetic, algebra, and spatial reasoning, among others. To scale our dataset towards training deep neural networks, we programmatically generate entirely new instances for each puzzle, while retaining their solution algorithm. To benchmark performances on SMART-101, we propose a vision and language meta-learning model using varied state-of-the-art backbones. Our experiments reveal that while powerful deep models offer reasonable performances on puzzles in a supervised setting, they are not better than random accuracy when analyzed for generalization. We also evaluate the recent ChatGPT and other large language models on a subset of SMART-101 and find that while these models show convincing reasoning abilities, the answers are often incorrect.

연구 동기 및 목표

• 최신 딥 뉴럴 네트워크가 6~8세 어린이 수준의 추론 능력을 일반화할 수 있는지 평가하는 것.
• 시각 기반 문제에서 산수, 공간적 추론, 패턴 매칭, 대수적 추론 등의 넓은 다중모달 추론 능력을 테스트할 수 있는 벤치마크 데이터셋을 개발하는 것.
• 현재의 시각어휘 모델과 대규모 언어 모델(GPT-3.5, GPT-4 등)이 추상화와 일반화가 필요한 알고리즘적 추론 과제를 해결하는 데서 보이는 한계를 평가하는 것.
• 기존의 시각어휘 벤치마크에서 존재하는 인도적 편향을 피하고, 심리측정적으로 통제된 오픈 월드 데이터셋을 만드는 것.

제안 방법

• 6~8세 어린이를 대상으로 한 101개의 고유한 시각어휘 퍼즐로 구성된 SMART-101 데이터셋을 제안한다. 각 퍼즐은 시각적 장면과 자연어 질문을 조합하여 알고리즘적 추론이 요구된다.
• 프로그래밍 기반 데이터 증강 기법을 사용해 각 원본 퍼즐에서 수천 개의 새로운 퍼즐 인스턴스를 생성하며, 기저의 해결 알고리즘을 유지함으로써 일반화 평가의 강건성을 확보한다.
• 다양한 최신 백본(ViT, CLIP 등)을 활용한 시각어휘 메타학습 모델을 사용하여, 새로운 퍼즐 변형에 대한 일반화 성능을 훈련 및 평가한다.
• 훈련 중에 볼 수 없었던 증강된 퍼즐 인스턴스를 테스트하여 zero-shot 및 few-shot 일반화 성능을 평가하며, 무작위 기준 대비 정확도를 측정한다.
• GPT-3.5, GPT-4 등 대규모 언어 모델을 SMART-101의 일부에 대해 벤치마크하여, 미세조정 없이도 그들의 추론 능력을 평가한다.
• 모델 출력의 논리적 일관성과 정확성을 분석하며, 추론 추적을 참값 해결 알고리즘과 비교한다.

실험 결과

연구 질문

• RQ1 SMART-101 벤치마크에서 지도학습 데이터로 훈련된 딥 뉴럴 네트워크는 동일한 퍼즐 유형의 새로운 인스턴스로 일반화할 수 있는가?
• RQ2 최신의 시각어휘 모델은 다중모달 알고리즘 퍼즐에서 초등학교 2학년 학생 수준의 추론 능력을 보여주는가?
• RQ3 GPT-3.5와 GPT-4와 같은 대규모 언어 모델은 미세조정 없이도 시각어휘 퍼즐에서 정확한 추론 능력을 보여주는가?
• RQ4 기존 벤치마크의 인도적 편향은 모델 성능에 어떤 영향을 미치며, SMART-101은 과제 다양성과 오픈 월드 복잡성 증가로 이를 완화하는가?
• RQ5 구조화된 추론 과제에서 대규모 언어 모델에서 타당해 보이는 추론과 실제 정확성 사이의 격차는 어느 정도인가?

주요 결과

• 시각어휘 모델은 SMART-101의 지도학습 훈련 인스턴스에서는 합리적인 정확도를 달성하지만, 새로운 증강된 인스턴스에서는 일반화에 실패하여 무작위 기준 수준 이하로 성능을 보인다.
• 강력한 아키텍처 백본을 사용하더라도 메타학습 모델은 일반화에 필요한 기저의 알고리즘적 구조를 학습하지 못하며, 이는 추상화 및 전이 능력에 대한 근본적인 한계를 시사한다.
• GPT-3.5와 GPT-4는 타당한 추론 추적을 생성하지만 자주 잘못된 답변을 도출하며, 유창한 추론이 정확함을 의미하지는 않음을 보여준다.
• 한 예시에서 GPT-4는 정답인 18km가 아니라 잘못된 11km로 결론을 내렸지만, 논리적으로 일관된 추론 경로를 보였다.
• 이 연구는 현재의 LLM과 시각어휘 모델이 간단하고 결정론적인 해결 경로조차도 환영하거나 일관성 없는 추론을 생성하는 경향이 있음을 드러낸다.
• 결과적으로 현재의 딥 러닝 모델들은 강건한 추상화와 알고리즘적 추론 능력이 부족하여, 다단계 및 다중모달 추론이 요구되는 과제에서 어린이의 인지 능력에 미치지 못한다.