[논문 리뷰] Generating Correct Answers for Progressive Matrices Intelligence Tests

Niv Pekar, Yaniv Benny외 1명|arXiv (Cornell University)|2020. 11. 01.

Neural Networks and Applications참고 문헌 15인용 수 4

한 줄 요약

이 논문은 다중 선택 옵션에 의존하지 않고 레이븐의 진행성 행렬(RPM) 테스트에서 정확한 답을 생성하기 위한 새로운 신경망을 소개한다. 이는 선택 기반 방법보다 훨씬 더 어려운 과제이다. 다중 경로 학습, 동적 변동 손실, 계층적 인코딩을 통한 선택적 지각 손실을 조합함으로써, 모델은 지상 진실 패턴과 일치하는 의미적으로 정확한 이미지를 생성하며, 픽셀 수준의 유사성이 낮더라도 최신 기법과 경쟁 가능한 인식 성능을 달성한다.

ABSTRACT

Raven's Progressive Matrices are multiple-choice intelligence tests, where one tries to complete the missing location in a $3 imes 3$ grid of abstract images. Previous attempts to address this test have focused solely on selecting the right answer out of the multiple choices. In this work, we focus, instead, on generating a correct answer given the grid, without seeing the choices, which is a harder task, by definition. The proposed neural model combines multiple advances in generative models, including employing multiple pathways through the same network, using the reparameterization trick along two pathways to make their encoding compatible, a dynamic application of variational losses, and a complex perceptual loss that is coupled with a selective backpropagation procedure. Our algorithm is able not only to generate a set of plausible answers, but also to be competitive to the state of the art methods in multiple-choice tests.

연구 동기 및 목표

• 다중 선택 옵션이 없는 레이븐의 진행성 행렬(RPM) 테스트에서 정답을 생성하는 과제를 해결함으로써, 선택 기반 방법보다 더 깊은 이해가 필요하다는 점을 다루는 것.
• 3×3 추상 이미지 격자에서의 잠재 패턴을 학습하여 설득력 있는 답을 합성하는 생성 모델을 개발하는 것.
• 동적 변동 손실과 선택적 역전파를 도입하여 시각적 추론 과제에서 일반화 능력과 의미적 추론 능력을 향상시키는 것.
• 생성된 답이 최신 기술 수준의 분류기로 정확하게 인식될 수 있는지 평가하여, 모델의 의미적 이해 능력을 입증하는 것.
• 생성된 모델이 절차적 생성 매트릭스(PGM) 및 RAVEN-FAIR 데이터셋 모두에서 검증되어, 다양한 규칙 분포에 걸쳐 강건함을 보여주는 것.

제안 방법

• 모델은 재구성, 인식, 생성의 세 가지 병렬 경로를 사용하며, 표현을 통합하기 위해 공유된 인코더 네트워크를 사용한다.
• 재구성 및 생성 경로에 동적 변동 손실을 적용하여, 입력 맥락에 따라 랜덤성을 적응적으로 조절함으로써 해로운 균일한 노이즈를 방지한다.
• 재구성 및 생성 작업 간의 잠재 분포 호환성을 확보하기 위해, 재구성과 생성 경로 두 곳에 대해 재패arameterization 기법을 선택적으로 적용한다.
• 계층적 지각 손실을 사용하여, 사전 훈련된 네트워크의 특징 임베딩을 통해 생성된 이미지와 지상 진실 및 오락물 이미지를 비교한다.
• 선택적 역전파를 통해 기울기 업데이트가 생성 경로에만 영향을 주도록 보장함으로써, 지각 손실 네트워크의 무결성을 유지한다.
• 인식 경로는 보조 분류기 역할을 하며, 세 번째 행과 열에 대해 관계 모듈 없이 훈련되어 의미적 일치를 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 선택 옵션이 없는 상태에서 신경망이 정답을 완전히 새로 생성할 수 있는가, 동시에 의미적으로 정확한가?
• RQ2 복잡한 시각적 추론 과제에서 이미지 생성을 위한 부분적 랜덤성 지원을 위해 변동 인코딩(VAE)을 어떻게 적응시킬 수 있는가?
• RQ3 계층적 인코딩을 통한 지각 손실은 생성된 RPM 답의 품질과 정확도를 얼마나 향상시키는가?
• RQ4 동일한 분류기에서 평가했을 때, 생성 모델이 최신 기술 수준의 선택 기반 모델과 비교해 유사한 인식 정확도를 달성할 수 있는가?
• RQ5 모델은 RAVEN-FAIR와 같은 외부 분포 규칙 세트와 편향 없는 데이터셋에 일반화되는가?

주요 결과

• PGM 데이터셋에서 인간 평가자에 의한 평가 결과, 생성된 답의 70.1%가 정확하다고 판단되었으며, 랜덤 선택 이미지의 경우 단지 6.4%에 불과하여 의미적 일치가 뚜렷하게 확보됨을 보여준다.
• 인간 평가에서 생성된 이미지의 63.3%가 정확하다고 평가되었으며, 지상 진실 이미지의 72.2%와 비교해도 높은 지각적 및 의미적 타당성을 보여준다.
• RAVEN-FAIR에서 보조 인식 분류기는 60.8%의 정확도를 기록했으며, MRNet(86.8%)에 이어 두 번째로 높은 성능을 보였으며, 아키텍처 제약에도 불구하고 뛰어난 성능을 보였다.
• RAVEN-FAIR 데이터셋에서 생성 정확도는 60.7%였으며, VAE로 재구성한 지상 진실 이미지의 69.5% 정확도에 근접했고, 랜덤 생성 기반 8.9%의 베이스라인보다도 뚜렷하게 높았다.
• PGM의 외부 분포 '보간' 영역에서 모델은 61.7%의 생성 정확도를 기록했으며, MRNet의 인식 과제에서 기록한 68.1%에 근접했다.
• 모델은 RPM 문제의 대부분의 잠재 규칙을 성공적으로 포착했으며, 특정 규칙 유형의 무시가 최소한이었고, 강력한 패턴 학습 능력을 보였다.