[논문 리뷰] Learning to See Analogies: A Connectionist Exploration

Douglas Blank|arXiv (Cornell University)|2020. 01. 18.

Cognitive Science and Education Research참고 문헌 119인용 수 8

한 줄 요약

이 논문은 특정 연관 학습 절차를 통해 예시를 통해 유사성을 만들어내는 데 익숙해지는 순환 연결망인 Analogator를 소개한다. 다양한 유사성에 노출되면서 입력 영역을 도형과 배경 요소로 분할하는 법을 학습함으로써, 모델은 유사성 추론 능력을 발달시키며, 이는 유사성 생성이 사전에 정의된 것이 아니라 감각 학습에서 유추될 수 있음을 보여준다.

ABSTRACT

This dissertation explores the integration of learning and analogy-making through the development of a computer program, called Analogator, that learns to make analogies by example. By "seeing" many different analogy problems, along with possible solutions, Analogator gradually develops an ability to make new analogies. That is, it learns to make analogies by analogy. This approach stands in contrast to most existing research on analogy-making, in which typically the a priori existence of analogical mechanisms within a model is assumed. The present research extends standard connectionist methodologies by developing a specialized associative training procedure for a recurrent network architecture. The network is trained to divide input scenes (or situations) into appropriate figure and ground components. Seeing one scene in terms of a particular figure and ground provides the context for seeing another in an analogous fashion. After training, the model is able to make new analogies between novel situations. Analogator has much in common with lower-level perceptual models of categorization and recognition; it thus serves as a unifying framework encompassing both high-level analogical learning and low-level perception. This approach is compared and contrasted with other computational models of analogy-making. The model's training and generalization performance is examined, and limitations are discussed.

연구 동기 및 목표

• 유사성 추론이 모델에 사전에 정의된 것이 아니라 학습을 통해 유추될 수 있는가를 조사하는 것.
• 저수준의 감각 처리와 고수준의 유사성 추론을 통합하는 계산적 프레임워크를 개발하는 것.
• 순환 신경망을 훈련시켜 영역의 도형과 배경 요소를 식별하게 하여 새로운 상황 간의 유사성 전이를 가능하게 하는 것.
• 대부분의 유사성 모델에서 유사성 메커니즘이 사전에 정의되어 있다고 가정하는 것에 도전하며, 이 메커니즘이 학습을 통해 유도될 수 있음을 보여주는 것.

제안 방법

• 특화된 연관 학습 절차를 사용하여 입력 영역을 도형과 배경 요소로 분할하는 데 목적이 있는 순환 신경망 아키텍처를 훈련한다.
• 모델은 유사성 문제와 그 해답의 쌍을 기반으로 훈련되며, 입력을 적절한 유사성 구조로 매핑하는 법을 학습한다.
• 훈련 과정은 소스 상황과 타겟 상황 간의 정확한 유사성 매핑을 예측하는 데서 발생하는 오차를 최소화하는 데 중점을 둔다.
• 다양한 입력 영역 간의 구조적 유사성을 인식함으로써 네트워크는 구조적 유사성이 공유되는 경우 이를 동일시하는 방식으로 일반화 능력을 발달시킨다.
• 내부 표현 분석을 통해 유사성 구조가 어떻게 인코딩되고 회상되는지 평가한다.
• 기타 연역적 추론 모델과의 비교를 통해 학습 기반의, 감각에 기반한 성격을 강조한다.

실험 결과

연구 질문

• RQ1 유사성 추론은 사전에 명시적으로 프로그래밍된 것이 아니라 학습을 통해 유추될 수 있는가?
• RQ2 연결망이 다양한 입력 영역 간의 유사성 구조를 식별하고 적용하는 법을 어떻게 학습할 수 있는가?
• RQ3 예시를 통해 훈련된 모델이 새로운, 볼 수 없는 유사성 문제에 얼마나 잘 일반화할 수 있는가?
• RQ4 도형과 배경 분할이 신경망에서 유사성 추론을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 이러한 학습 기반 접근 방식은 기호적 또는 사전 정의된 메커니즘 기반의 유사성 추론 모델과 어떻게 비교될 수 있는가?

주요 결과

• Analogator는 다양한 유사성 문제와 해답에 대해 훈련된 후 새로운 상황 간의 유사성을 만들어내는 데 성공한다.
• 모델이 영역을 도형과 배경 요소로 분할하는 능력은 유사성 구조를 식별하고 전이를 가능하게 하는 데 핵심적인 역할을 한다.
• 훈련 데이터가 많아질수록 일반화 성능이 향상되며, 이는 유사성 추론이 여러 예시에 노출된 결과로 유추된다는 것을 시사한다.
• 모델는 유사성 추론이 감각 처리에 뿌리를 두고 있음을 보여주며, 저수준의 감각 처리와 고수준의 인지 기능 사이의 경계를 흐리게 한다.
• 이 접근은 분류, 인식, 유사성 추론을 하나의 연결망 아키텍처 안에서 통합하는 통합적 프레임워크를 제공한다.
• 한계점으로는 입력 표현에 민감하고, 매우 추상적이거나 비감각적인 유사성 문제를 처리하는 데 어려움이 있다.