[논문 리뷰] End-to-end Deep Prototype and Exemplar Models for Predicting Human Behavior

Pulkit Singh, Joshua C. Peterson외 2명|arXiv (Cornell University)|2020. 07. 17.

Child and Animal Learning Development참고 문헌 20인용 수 10

한 줄 요약

이 논문은 원시 입력에서 刺激과 카테고리 표현을 함께 학습하는 엔드 투 엔드 딥 네ural 네트워크 모델—딥 프로토타입 모델(DPM), 딥 익스엠플러 모델(DEM), 딥 가우시안 믹스처 모델(DGMM)—을 소개한다. 이러한 인지적으로 영감을 받은 모델을 엔드 투 엔드로 훈련시킴으로써, 인간의 불확실성 행동에 대한 피팅 성능이 향상되고 표준 딥 네트워크보다 분류 정확도가 향상된다.

ABSTRACT

Traditional models of category learning in psychology focus on representation at the category level as opposed to the stimulus level, even though the two are likely to interact. The stimulus representations employed in such models are either hand-designed by the experimenter, inferred circuitously from human judgments, or borrowed from pretrained deep neural networks that are themselves competing models of category learning. In this work, we extend classic prototype and exemplar models to learn both stimulus and category representations jointly from raw input. This new class of models can be parameterized by deep neural networks (DNN) and trained end-to-end. Following their namesakes, we refer to them as Deep Prototype Models, Deep Exemplar Models, and Deep Gaussian Mixture Models. Compared to typical DNNs, we find that their cognitively inspired counterparts both provide better intrinsic fit to human behavior and improve ground-truth classification.

연구 동기 및 목표

• 기존의 카테고리 학습 모델이 자극 표현을 카테고리 학습과 별개로 고정하는 데서 비롯하는 한계를 해결하기 위해.
• 프로토타입 및 익스엠플러 이론과 같은 전통적인 심리학적 분류 이론과 특징 학습을 통합하기 위해.
• 자극과 카테고리 표현을 동시에 학습하는 딥 네ural 네트워크 아키텍처를 개발하여 인간의 인지 과정과 더 잘 일치시키기 위해.
• 대표성과 분류를 동시에 최적화하여 인간 행동 예측 및 후속 분류 작업에서의 모델 성능을 향상시키기 위해.
• 심리학적 이론을 지닌 확장 가능하고 미분 가능한 프레임워크를 제공하기 위해.

제안 방법

• 딥 네트워크와 프로토타입, 익스엠플러, 가우시안 믹스처 모델을 조합한 확률적 프레임워크를 제안하여 자극과 카테고리 표현을 함께 학습한다.
• 특징 학습 네트워크를 엔드 투 엔드로 훈련하기 위해, 분류 구성 요소까지 포함한 전체 모델에 대해 역전파를 적용한다.
• 학습 가능한 공분산 행렬을 가진 맬라노비스 거리(Mahalanobis distance)를 자극과 카테고리 프로토타입 또는 익스엠플러 간의 유사도 측정으로 사용한다.
• 잠재 공간에서 카테고리 중심과 자극 표현의 분포를 분석하기 위해 t-SNE 시각화를 적용한다.
• 인간의 불확실성 판단을 초과 50만 건 포함한 CIFAR10-H 데이터셋에서 모델을 훈련하여 인간 행동에 대한 피팅 성능을 평가한다.
• 카테고리 표현(프로토타입 또는 익스엠플러)이 네트워크 내부의 파라미터로 학습되며, 경사 하강법을 통해 훈련되는 통합 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 인간의 인지 과정을 더 잘 반영하는 방식으로 엔드 투 엔드로 자극과 카테고리 표현을 함께 학습시킬 수 있는가?
• RQ2 자극과 카테고리 표현을 함께 학습할 경우 인간의 분류 불확실성에 대한 모델 피팅 성능에 어떤 영향을 미치는가?
• RQ3 이러한 엔드 투 엔드 모델은 표준 딥 네트워크에 비해 표준 이미지 분류 벤치마크에서 일반화 능력과 정확도를 향상시키는가?
• RQ4 이 모델들이 학습하는 내부 표현은 어떤가? 그리고 심리학적 카테고리 학습 이론과 비교해보면 어떠한가?
• RQ5 인지 이론을 딥 러닝과 통합하면 더 강건하고 해석 가능한 모델을 도출할 수 있는가?

주요 결과

• 제안된 딥 프로토타입 및 익스엠플러 모델은 인간의 불확실성 행동에 대해 이전의 모델보다 유의미하게 더 좋은 피팅 성능을 보였으며, 인간 기반의 감독 없이도 성능을 달성했다.
• 고정된 잘 알려진 아키텍처를 사용하고도 표준 딥 네트워크보다 정답 분류 정확도가 향상되었다.
• t-SNE 시각화 결과 DPM은 단일 모드의 중심 프로토타입을 생성하는 반면, DGMM은 비퇴화된, 다중 모드의 비선형적으로 분포된 중심을 학습하여 복잡한 카테고리 구조를 더 잘 포착한다.
• 10회의 훈련 런에 걸쳐 일반화 성능이 뛰어나며, 모델 이점에 대한 하이퍼파ram터 튜닝 없이도 일관된 성능을 보였다.
• 이전 연구에서 광범위한 인간 감독이 필요로 했던 수준의 인간 불확실성에 대한 피팅 향상 수준이 상대적으로 크게 향상되었으며, 이는 인간 감독 없이도 유사한 결과를 달성할 수 있음을 시사한다.
• 카테고리당 최대 5,000개의 중심을 포함해도 안정적인 훈련을 보이며, 확장성과 강건성을 입증했다.