[논문 리뷰] Learning to Make Analogies by Contrasting Abstract Relational Structure

Felix Hill, Adam Santoro외 3명|arXiv (Cornell University)|2019. 01. 31.

Multimodal Machine Learning Applications참고 문헌 29인용 수 42

한 줄 요약

이 논문은 신경망이 추상적 관계 구조(LABC)를 대비시키는 학습을 통해 유연한 유사 추론을 수행하고, 이를 새로운 도메인으로 이전시키며 시각적 및 기호적 작업 전반에서 일반화를 향상시킬 수 있음을 보여준다.

ABSTRACT

Analogical reasoning has been a principal focus of various waves of AI research. Analogy is particularly challenging for machines because it requires relational structures to be represented such that they can be flexibly applied across diverse domains of experience. Here, we study how analogical reasoning can be induced in neural networks that learn to perceive and reason about raw visual data. We find that the critical factor for inducing such a capacity is not an elaborate architecture, but rather, careful attention to the choice of data and the manner in which it is presented to the model. The most robust capacity for analogical reasoning is induced when networks learn analogies by contrasting abstract relational structures in their input domains, a training method that uses only the input data to force models to learn about important abstract features. Using this technique we demonstrate capacities for complex, visual and symbolic analogy making and generalisation in even the simplest neural network architectures.

연구 동기 및 목표

• 신경망에서 추상적 관계 구조에 초점을 맞추어 유사 추론을 가능하게 하고 동기를 부여한다.
• Learning Analogies by Contrasting (LABC)라는 학습 방법을 제안하고 평가한다.
• 시각 및 기호 설정에서 새로운 도메인, 대상 도메인 및 도메인 값으로의 일반화를 시연한다.

제안 방법

• 이미지 패널별 임베딩을 추출하기 위해 CNN 인지 프런트엔드를 사용한다.
• 4단계를 통해 후보 완성도를 점수화하고 점수에 소프트맥스를 적용하여 시퀀스를 RNN으로 처리한다.
• 표면적 유사성 너머의 추상을 강제하기 위해 잘못된 정답이 의미적으로/설계상 관련되도록 하는 대비적 목적어로 학습한다.
• 일반 학습과 비교하여 다양한 아키텍처에서 일반화를 테스트한다.
• 유사한 대비 학습 체제를 갖춘 기호적 유추 작업으로 접근 방식을 확장한다.

실험 결과

연구 질문

• RQ1 신경망이 표면 특징이 아닌 추상적 관계 구조에 초점을 맞추어 유연한 유추를 학습할 수 있는가?
• RQ2 대비적 관계 구조(LABC)로 학습하면 새로운 도메인, 대상 도메인 및 보지 못한 속성 값으로의 일반화가 향상되는가?
• RQ3 LABC의 이점이 아키텍처 의존적인가, 아니면 서로 다른 네트워크 모델에서도 일반화되는가?
• RQ4 LABC를 시각 입력을 넘어 기호적, 이산 도메인 유추 문제로 확장할 수 있는가?

주요 결과

• LABC는 새로운 도메인 전이에서 견고한 유추를 가능하게 하며, 대비 중심 테스트 문제에서 무작위 정답 대비 약 83%의 정확도를 달성하고 무작위 정답은 약 58%이다.
• 새로운 대상 도메인에서 LABC는 무작위 정답 기반보다 높은 정확도(대략 80% 수준의 대비 테스트에서)를 유지한다(약 60% 수준).
• LABC는 보지 못한 값으로의 외삽을 현저히 개선하며(예: 대비 62% 대 무작위 43%), 대비 훈련과 무작위 훈련을 함께 사용할 때 균형 잡힌 이득을 얻는다.
• 아키텍처(RNN, ResNet-50, 병렬 ResNet-50, 병렬 Relation Net) 전반에서 LABC는 일반 학습에 비해 새로운 도메인 전이 작업의 성능을 지속적으로 향상시킨다.
• LABC는 숨겨진 상태 공간에서 관계 중심의 클러스터링이 관찰되는 보다 뚜렷한 관계 표현을 촉진한다.
• 기호적 유추에서 명시적 LABC(LABC; 명시적 SMT)는 약 89%의 테스트 정확도를 달성하며, 다양한 방법에서의 다른 학습 규칙들보다 우수하다(예: 0.62–0.77 등).