[논문 리뷰] Adapting Deep Network Features to Capture Psychological Representations

Joshua C. Peterson, Joshua T. Abbott외 1명|arXiv (Cornell University)|2016. 08. 06.

Face Recognition and Perception참고 문헌 14인용 수 30

한 줄 요약

이 논문은 인간의 시각적 유사성 인식 심리적 표현과 더 잘 일치하도록 딥 컨volution 신경망(CNN) 특징을 적응시키는 방법을 제안한다. 인간의 유사성 판단을 기반으로 한 엘라스틱 넷 회귀를 통해 미리 훈련된 VGG16 특징을 재가중함으로써, 모델은 인간의 유사성 판단을 거의 완벽하게 재구성하며, 인간 인지에서 중요한 질적 차이를 포착하지 못하는 원본 CNN 특징보다 유의미하게 향상된 성능을 달성한다.

ABSTRACT

Deep neural networks have become increasingly successful at solving classic perception problems such as object recognition, semantic segmentation, and scene understanding, often reaching or surpassing human-level accuracy. This success is due in part to the ability of DNNs to learn useful representations of high-dimensional inputs, a problem that humans must also solve. We examine the relationship between the representations learned by these networks and human psychological representations recovered from similarity judgments. We find that deep features learned in service of object classification account for a significant amount of the variance in human similarity judgments for a set of animal images. However, these features do not capture some qualitative distinctions that are a key part of human representations. To remedy this, we develop a method for adapting deep features to align with human similarity judgments, resulting in image representations that can potentially be used to extend the scope of psychological experiments.

연구 동기 및 목표

• 딥 신경망 특징이 자연 이미지의 인간 유사성 판단을 얼마나 잘 예측하는지 조사하기 위해.
• 표준 딥 특징이 인간 심리적 표현에 존재하는 질적 차이를 포착하지 못하는 한계를 규명하기 위해.
• 딥 특징을 인간의 유사성 판단과 더 가깝게 일치시키기 위한 방법을 개발하기 위해.
• 정확하고 학습 가능한 이미지 표현을 제공함으로써, 자연스럽고 현실적인 刺자료를 사용한 심리학 실험을 가능하게 하기 위해.

제안 방법

• 인간의 유사성 판단을 감독 신호로 사용하여, 사전 훈련된 VGG16 활성화를 재가중함으로써 딥 특징을 미세조정하기 위해.
• 인간 유사성 예측을 향상시키기 위해 양의 희박한 가중치를 학습하기 위해 엘라스틱 넷 회귀를 사용하기 위해.
• 일련의 동물 이미지에 대해 재가중된 특징을 적용하여 인간의 유사성 판단을 재구성하기 위해.
• 표현 품질의 깊이 의존성 평가를 위해 다양한 네트워크 레이어(컨볼루션 및 풀 커넥티드)에서 성능을 평가하기 위해.
• 이식성과 후속 작업에 대한 영향을 테스트하기 위해 새로운 동물 분류 데이터셋에서 방법을 검증하기 위해.
• 유사성 예측 및 분류 작업에서 원본 VGG16 특징과 비교하여 적응된 특징의 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥 네트워크 특징이 자연 이미지에 대한 인간의 유사성 판단을 어느 정도 잘 예측하는가?
• RQ2 표준 딥 특징에서 누락된 인간 심리적 표현의 질적 차이는 무엇인가?
• RQ3 간단하고 해석 가능한 변환을 통해 딥 특징을 인간 유사성과 유사한 구조를 더 잘 포착하도록 적응시킬 수 있는가?
• RQ4 적응된 특징의 성능은 다양한 네트워크 레이어에서 어떻게 달라지는가?
• RQ5 적응된 특징는 이미지 분류와 같은 표준 컴퓨터 비전 작업에서 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• VGG16의 원본 딥 특징는 인간의 유사성 판단에서 분산의 상당 부분을 설명하지만, 인간 인지에서 중요한 질적 차이를 포착하지 못한다.
• 재가중된 특징 적응 방법은 높은 정확도로 인간의 유사성 판단을 거의 완벽하게 재구성하며, 인간 데이터와의 정확한 일치를 달성한다.
• 적응된 특징의 성능은 풀 커넥티드 레이어에서 가장 뛰어나지 않으며, 이는 고수준 표현이 인간 심리적 유사성과 더 잘 일치함을 시사한다.
• 표준 딥 러닝 목표에서 놓친 유사성 데이터의 구조적 패턴을 포착함으로써, 원본 특징보다 성능을 향상시킨다.
• 심리적 유사성 모델링에 성공했음에도 불구하고, 표준 동물 분류 작업에서는 원본 VGG16 특징보다 성능이 열 劣하다(R² = 0.89 vs. 0.94), 이는 심리적 정확성과 분류 정확성 사이의 상충 관계를 시사한다.
• 결과는 딥 특징가 인간 심리적 표현의 대체자로 효과적으로 적응시킬 수 있으며, 자연 자극을 사용한 새로운 응용 분야를 인지과학에서 가능하게 한다.