[논문 리뷰] Mapping Images to Psychological Similarity Spaces Using Neural Networks

Lucas Bechberger, Elektra Kypridemou|arXiv (Cornell University)|2018. 04. 20.

Image Retrieval and Classification Techniques참고 문헌 22인용 수 3

한 줄 요약

이 논문은 인간 실험에서 구한 심리학적 유사성 평가를 사용하여 신경망을 훈련시켜 이미지를 개념적 공간으로 매핑하는 하이브리드 접근법을 제안한다. 이는 심리학적 타당성과 미리 보지 않은 刺자에 대한 일반화 능력을 동시에 확보한다. 모델은 올바른 매핑에 대해 셰플된 매핑보다 시험 데이터에서 유의미하게 낮은 RMSE를 기록하여, 과적합 문제에도 불구하고 타당성과 일반화 잠재력이 있음을 입증한다.

ABSTRACT

The cognitive framework of conceptual spaces bridges the gap between symbolic and subsymbolic AI by proposing an intermediate conceptual layer where knowledge is represented geometrically. There are two main approaches for obtaining the dimensions of this conceptual similarity space: using similarity ratings from psychological experiments and using machine learning techniques. In this paper, we propose a combination of both approaches by using psychologically derived similarity ratings to constrain the machine learning process. This way, a mapping from stimuli to conceptual spaces can be learned that is both supported by psychological data and allows generalization to unseen stimuli. The results of a first feasibility study support our proposed approach.

연구 동기 및 목표

• 심리학적 데이터에 기반한 개념적 공간을 통해 상징적 및 비상징적 인공지능을 연결하기 위해.
• 순수한 기계학습 방법은 심리학적 타당성이 부족하고, 순수한 심리학적 방법은 일반화 능력이 떨어지는 한계를 해결하기 위해.
• 인간이 도출한 유사성 평가를 활용하여 이미지에서 개념적 공간으로의 신경망 기반 매핑을 개발하기 위해.
• 심리학적 유사성 공간이 일반화 가능한 이미지 표현 학습을 이끌 수 있는지 평가하기 위해.
• 다차원 척도법(MDS)으로 유도된 유사성 공간과 딥 신경망을 융합하여 이미지 표현을 개발하는 데의 가능성을 탐색하기 위해.

제안 방법

• 인간 실험에서 구한 심리학적 유사성 평가를 사용하여 개념적 유사성을 나타내는 다차원 척도(MDS) 공간을 생성한다.
• 사전 훈련된 딥 신경망(예: ResNet)이 이미지 특징을 추출하여 각 이미지당 2048차원의 임bedding을 생성한다.
• 선형 회귀 모델이 이미지 특징 벡터를 MDS 좌표로 매핑하며, MDS 공간을 목표로 한다.
• 모델은 유사성 평가가 알려진 이미지 데이터셋에서 훈련되며, 예측된 MDS 좌표와 실제 좌표 간의 RMSE로 손실을 측정한다.
• 모델이 의미 있는 구조를 학습하는지 테스트하기 위해 MDS 좌표를 무작위로 셰플한 버전을 사용한 베이스라인 비교를 수행한다.
• 과적합을 완화하고 훈련 다양성을 높이기 위해 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 신경망은 의미 있는 일반화 능력을 갖는 심리학적으로 유도된 개념적 공간으로 이미지 특징을 매핑할 수 있는가?
• RQ2 심리학적 유사성 평가를 목표로 삼는 것이 무작위 베이스라인 대비 일반화 능력 향상에 기여하는가?
• RQ3 MDS 공간의 차원 수가 학습된 매핑 성능에 어떤 영향을 미치는가?
• RQ4 모델의 과적합 정도는 어느 정도이며, 데이터 증강 및 아키텍처 제약 조건을 통해 과적합을 완화할 수 있는가?
• RQ5 학습된 매핑은 데이터 내 도메인 특화된 구조(예: 색상, 형태, 크기)에 민감한가?

주요 결과

• 모델은 올바른 매핑에 대해 셰플된 매핑보다 시험 데이터에서 유의미하게 낮은 RMSE를 기록하여 의미 있는 구조를 학습했다는 것을 보여준다.
• 다양한 MDS 차원 수에 걸쳐 올바른 매핑과 셰플된 매핑 간의 성능 격차가 일관되게 유지되어, 모델이 심리학적 유사성 구조를 정확히 포착했다는 것을 확인한다.
• 높은 차원의 MDS 공간에서 모델의 성능이 더 뛰어나, 더 높은 능력이 주어질수록 더 미세한 유사성 뉘앙스를 학습할 수 있음을 시사한다.
• 과적합 현상이 관찰되었으며, 훈련 데이터에 대한 RMSE는 시험 데이터보다 훨씬 낮았다. 이는 제한된 훈련 데이터와 고차원 특징 벡터가 원인일 가능성이 높다.
• 셰플된 MDS 좌표를 사용한 베이스라인 모델은 차원에 관계없이 유사한 성능를 보였으며, 셰플링으로 인해 MDS 공간의 구조 자체가 손상되지 않았음을 시사한다.
• 결과는 심리학적 데이터와 신경망을 융합하여 일반화 가능하고 심리학적으로 타당한 이미지 표현을 학습하는 데의 타당성을 뒷받침한다.