[논문 리뷰] Capturing human category representations by sampling in deep feature spaces

Joshua C. Peterson, Jordan W. Suchow외 3명|arXiv (Cornell University)|2018. 05. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 11인용 수 7

한 줄 요약

이 논문은 생성 모델과 인간 피드백을 활용하여 딥 페처 공간에서 인간의 카테고리 표현을 추정하기 위한 새로운 방법 MCMCP(Markov Chain Monte Carlo with a human-in-the-loop)를 제안한다. 딥 네URAL 네트워크 페처 공간과 인간 지도 샘플링을 결합함으로써, 기존의 분류 이미지보다 더 뛰어난 인지적 품질과 분류 정확도를 보이는 다중 모달성, 생태학적으로 타당한 카테고리 분포를 포착한다.

ABSTRACT

Understanding how people represent categories is a core problem in cognitive science. Decades of research have yielded a variety of formal theories of categories, but validating them with naturalistic stimuli is difficult. The challenge is that human category representations cannot be directly observed and running informative experiments with naturalistic stimuli such as images requires a workable representation of these stimuli. Deep neural networks have recently been successful in solving a range of computer vision tasks and provide a way to compactly represent image features. Here, we introduce a method to estimate the structure of human categories that combines ideas from cognitive science and machine learning, blending human-based algorithms with state-of-the-art deep image generators. We provide qualitative and quantitative results as a proof-of-concept for the method's feasibility. Samples drawn from human distributions rival those from state-of-the-art generative models in quality and outperform alternative methods for estimating the structure of human categories.

연구 동기 및 목표

• 직접 관찰이 불가능한 복잡하고 자연주의적인 이미지 공간에서 인간의 카테고리 표현을 추정하는 데 도전하는 것.
• 다중 모달 분포를 포함하여 인간 카테고리의 전체 구조를 생태학적으로 타당하고 스케일러블하게 캡처하는 방법을 개발하는 것.
• 밀도 추정과 실제 자연 이미지 분류에 대한 더 나은 일반화를 가능하게 하여 전통적인 분류 이미지에 비해 향상된 성능을 달성하는 것.
• 딥 생성 모델의 최근 발전과 인간이 참여하는 샘플링을 활용하여 인지 모델링을 위한 융통성 있는 프레임워크를 구축하는 것.
• 미래의 머신러닝 및 인지과학 연구를 이끄는 데 사용할 수 있는 인간 분류의 기준 기준(ground-truth) 벤치마크를 제공하는 것.

제안 방법

• 이 방법은 이미지에서 압축적이고 계층적인 특징 표현을 추출하기 위해 딥 컨volution 네트워크(CNN)를 사용하여 고차원 잠재 공간을 형성한다.
• 저차원 잠재 벡터 z에서 고차원 이미지 샘플 x로 매핑하기 위해 사전 학습된 생성 모델(GAN 또는 VAE 등)을 사용하며, 이는 디코더 네트워크를 통해 이루어진다.
• 인간이 참여하는 마르코프 체인 몬테카를로(MCMC) 샘플링 루프를 구현한다: 각 단계에서 현재 상태와 제안된 상태의 두 이미지 샘플이 인간 평가자에게 제시된다.
• 평가자는 바커 수락 함수(Barker acceptance function)에 따라 두 이미지 중 하나를 선택하며, 이는 제안된 상태를 수락할지 여부를 결정함으로써 인간 카테고리 분포의 탐색을 가능하게 한다.
• 결과적으로 생성된 MCMC 체인은 딥 페처 공간 내 진짜 인간 카테고리 분포를 근사하며, 혼합 모델을 통한 밀도 추정이 가능해진다.
• 이 방법은 다중 모달 카테고리 템플릿의 시각화를 가능하게 하며, 최근접 평균 및 최대우도 결정 규칙을 모두 활용한 분류도 가능하다.

실험 결과

연구 질문

• RQ1 딥 페처 공간에서 인간이 참여하는 샘플링이 인간 카테고리 표현의 전체 다중 모달 구조를 포착할 수 있는가?
• RQ2 MCMCP의 성능은 실제 자연 이미지 분류에서 전통적인 분류 이미지와 비교해 어떻게 되는가?
• RQ3 MCMCP 샘플에서 유도된 밀도 추정치가 기준 방법보다 분류 정확도를 향상시킬 수 있는가?
• RQ4 MCMCP로 유도된 표현이 얼마나 인지적으로 의미 있는 카테고리 경계를 반영하는가?
• RQ5 이 방법은 과도한 시행 부담 없이 복잡하고 고차원적인 이미지 카테고리로 확장될 수 있는가?

주요 결과

• MCMCP 샘플은 이미지 품질에서 최첨단 생성 모델과 맞먹으며, 인간 카테고리 구조 추정에서 다른 방법들보다 뛰어난 성능을 보였다.
• 이 방법은 자연주의적 자극을 사용하여 자연 이미지 카테고리에 대해 다중 모달 카테고리 템플릿을 성공적으로 시각화하였다. 이는 이전에는 달성되지 못한 능력이다.
• MCMCP 기반 밀도 추정치는 실제 Flickr 이미지에서 최근접 평균 분류에서 기존 분류 이미지(CI)의 평균 정확도 0.30보다 높은 평균 정확도 0.38을 기록하였다.
• 카테고리 그룹 1에 대해 MCMCP 밀도 추정치는 평균 분류 정확도 0.37을 달성하였으며, CI 기반 최근접 평균 규칙(0.30)보다 유의미하게 뛰어났다.
• 카테고리 그룹 2에 대해 MCMCP 최근접 평균 분류는 0.42의 정확도를 기록하였으며, CI(0.26)와 MCMCP 밀도 추정치(0.35)를 모두 초월하였다.
• 피셔 선형 판별 분석을 통해 MCMCP 표현은 분류 이미지보다 더 잘 분리된 카테고리를 제공함을 확인하였으며, 이는 더 뛰어난 분류 가능성을 의미한다.