[논문 리뷰] Transforming Neural Network Visual Representations to Predict Human Judgments of Similarity

Maria Attarian, Brett D. Roads외 1명|arXiv (Cornell University)|2020. 10. 13.

Visual Attention and Saliency Detection참고 문헌 26인용 수 6

한 줄 요약

이 논문은 인간의 이미지 유사성 판단을 보다 정확히 예측하기 위해 딥 네URAL 네트워크 시각 임베딩에 선형 변환을 제안한다. 일반 선형 변환(간단한 확대보다 우수함)을 적용하고 비대칭 유사성 판단을 허용함으로써, 이 방법은 이진 선택 예측 정확도를 기준선의 67.8%에서 90.3%로 향상시켰으며, 이는 이전 방법들을 크게 능가하며 인간의 유사성 인지가 본질적으로 비대칭적임을 드러낸다.

ABSTRACT

Deep-learning vision models have shown intriguing similarities and differences with respect to human vision. We investigate how to bring machine visual representations into better alignment with human representations. Human representations are often inferred from behavioral evidence such as the selection of an image most similar to a query image. We find that with appropriate linear transformations of deep embeddings, we can improve prediction of human binary choice on a data set of bird images from 72% at baseline to 89%. We hypothesized that deep embeddings have redundant, high (4096) dimensional representations; however, reducing the rank of these representations results in a loss of explanatory power. We hypothesized that the dilation transformation of representations explored in past research is too restrictive, and indeed we found that model explanatory power can be significantly improved with a more expressive linear transform. Most surprising and exciting, we found that, consistent with classic psychological literature, human similarity judgments are asymmetric: the similarity of X to Y is not necessarily equal to the similarity of Y to X, and allowing models to express this asymmetry improves explanatory power.

연구 동기 및 목표

• 이미지 유사성에 대한 인간 심리적 임베딩과 딥 네URAL 네트워크 시각 표현을 일치시키기 위해.
• 변환된 딥 임베딩을 사용하여 인간의 이진 유사성 선택을 향상시켜 예측하기 위해.
• A에서 B로의 유사성과 B에서 A로의 유사성이 다를 수 있는 비대칭 유사성 판단이 인간 인지에 더 잘 부합하는지 조사하기 위해.
• 일반 선형 변환과 같은 제한된 변환(예: 확대)에 비해 인간의 유사성 모델링에 있어 일반 선형 변환의 효과를 평가하기 위해.
• 매우 과다 파rameter화된 선형 모델이 인간 판단 예측 시 과적합되는지 여부를 결정하기 위해.

제안 방법

• 4096차원의 VGG-16 딥 임베딩에 일반 선형 변환을 적용하여 인간의 유사성 판단을 더 잘 예측할 수 있는 공간으로 매핑한다.
• 두 이미지 간의 유사성은 이차형 형태로 모델링된다: ŝ_ij = z_i^T W z_j, 여기서 W는 학습된 가중치 행렬이다.
• 예측된 유사성 점수와 인간이 평가한 유사성 점수 간의 제곱 손실을 사용하여 모델을 훈련하며, 과적합을 방지하기 위해 L2 정규화를 적용한다.
• 유사성 함수의 대칭형과 비대칭형 버전을 모두 평가하여 방향성 비교를 가능하게 한다.
• 제거 분석을 통해 다양한 임베딩 차원 수(k=2048, 4096)와 변환 유형(dilation, 일반 선형, 비음수) 간의 성능을 비교한다.
• 보류된 트리플릿과 보류된 이미지를 사용하여 일반화 능력을 평가하여 제로샷 및 소수 샷 전이 가능성 여부를 점검한다.

실험 결과

연구 질문

• RQ1 기본 임베딩에 비해 일반 선형 변환을 적용한 딥 임베딩이 인간의 이진 유사성 선택 예측 성능을 크게 향상시킬 수 있는가?
• RQ2 A에서 B로의 유사성과 B에서 A로의 유사성이 다를 수 있는 비대칭 유사성 판단을 허용할 경우, 인간 데이터에 대한 모델 적합도가 향상되는가?
• RQ3 일반 선형 변환을 사용한 성능 향상이 단순한 확대 변환을 사용한 경우에 비해 통계적으로 유의미한가?
• RQ4 선형 변환에서의 과다 파rameter화가 인간 판단 예측 시 과적합을 유도하는가?
• RQ5 학습 중에 보지 못한 새로운 이미지로 모델이 일반화 가능한가?

주요 결과

• 제안된 방법은 인간의 이진 유사성 선택 예측 정확도를 90.3%로 달성하였으며, 원본 VGG-16 특징를 사용한 기준선의 67.8%에 비해 상당한 향상이다.
• 일반 선형 변환을 사용할 경우, 이전 연구에서 사용된 확대 변환보다 유의미하게 뛰어난 성능을 보였으며, 모델 용량이 높아도 마찬가지다.
• 유사성의 대칭성 제약을 완화함으로써 모델 적합도가 향상되었으며, 이는 인간의 유사성 판단이 본질적으로 비대칭적임을 강력히 뒷받침한다.
• 보류된 이미지로의 일반화 능력이 뛰어나 성능은 약간 감소하지만 동일한 상대적 순위를 유지한다.
• 최대 185:1의 파라미터 대 훈련 예제 비율을 가진 과다 파rameter화된 선형 모델은 과적합되지 않아, 선형성 덕분에 노이즈를 피하기 위한 모델 용량이 제한됨을 시사한다.
• 2048차원의 임베딩에서 최고의 성능을 기록하여, 차원 축소가 설명력에 해를 끼치지 않음을 나타낸다.