[논문 리뷰] Learning Hierarchical Visual Representations in Deep Neural Networks Using Hierarchical Linguistic Labels

Joshua C. Peterson, Paul Soulos외 2명|arXiv (Cornell University)|2018. 05. 19.

Face Recognition and Perception참고 문헌 18인용 수 3

한 줄 요약

이 논문은 동일한 이미지에 기본 수준('개')과 보조 수준('달마시안')의 계층적 언어 레이블을 사용하여 깊은 합성곱 신경망을 훈련시켜 더 인간에 가까운 시각적 표현을 학습하는 것을 제안한다. 다수 수준의 감독을 통해 모델은 더 풍부한 계층적 구조를 학습하게 되며, 이는 시각적으로 다양하지만 의미적으로 관련된 카테고리들이 더 잘 군집화되고, 인간의 인지 패턴과 매우 유사한 강력한 기본 수준 일반화 편향을 만들어낸다.

ABSTRACT

Modern convolutional neural networks (CNNs) are able to achieve human-level object classification accuracy on specific tasks, and currently outperform competing models in explaining complex human visual representations. However, the categorization problem is posed differently for these networks than for humans: the accuracy of these networks is evaluated by their ability to identify single labels assigned to each image. These labels often cut arbitrarily across natural psychological taxonomies (e.g., dogs are separated into breeds, but never jointly categorized as "dogs"), and bias the resulting representations. By contrast, it is common for children to hear both "dog" and "Dalmatian" to describe the same stimulus, helping to group perceptually disparate objects (e.g., breeds) into a common mental class. In this work, we train CNN classifiers with multiple labels for each image that correspond to different levels of abstraction, and use this framework to reproduce classic patterns that appear in human generalization behavior.

연구 동기 및 목표

• 계층적 언어 레이블(예: '개'와 '달마시안')을 사용한 다수 수준 감독이 깊은 신경망에서 시각적 표현 학습을 향상시키는지 조사하는 것.
• 기본 수준 레이블로 훈련할 경우, 보조 수준 레이블 전용 감독보다 시각 표현에서 계층적 분류 구조를 더 잘 포착하는지 검토하는 것.
• 기본 수준 레이블로 훈련된 모델이 심리학적 연구에서 관찰된 인간에 가까운 기본 수준 일반화 편향을 재현할 수 있는지 평가하는 것.
• 다수 수준 감독이 인간 인지 행동을 모방하는 방식으로 새로운 예측에 일반화하는 능력을 향상시키는지 확인하는 것.

제안 방법

• 계층적 분류 체계의 다양한 수준에 해당하는 레이블을 가진 이미지 데이터셋을 사용해, Szegedy 등(2015)의 거의 최신 기술 기반의 CNN을 미세조정한다.
• 기본 수준 레이블 전용(기본 모델), 보조 수준 레이블 전용(보조 모델), 또는 둘 다 사용(모두 모델)하는 방식으로 별도의 모델을 훈련시어 학습된 표현을 비교한다.
• 학습된 표현이 데이터의 기초적인 분류 체계를 얼마나 잘 반영하는지 평가하기 위해 계층적 군집화와 계층도를 사용한다.
• 유클리드 거리 기반의 확률적 일반화 모델과, 양성 예제 수(n)를 포함하는 정규화 방법을 적용해 인간에 가까운 일반화 행동을 시뮬레이션한다.
• 시험 자극 간의 일반화 확률을 정규화하여 Xu & Tenenbaum(2007)의 인간 데이터와 비교 가능하게 하며, 상대적 가능성에 중점을 둔다.
• 훈련 및 시험 자극을 88/308개의 기본 수준 카테고리에서 추출하며, 각각 최소 3개의 보조 클래스를 포함하도록 하여 일반화 실험에 충분한 데이터를 확보한다.

실험 결과

연구 질문

• RQ1 기본 수준 레이블로 훈련할 경우, 보조 수준 레이블 전용 훈련보다 시각적 표현의 계층적 군집화가 더 우수한가?
• RQ2 다수 수준 감독으로 학습된 표현이 인간의 유사성 판단과 일반화 패턴을 어느 정도 반영하는가?
• RQ3 기본 수준 레이블로 훈련된 딥 네트워크가 인간 인지에서 관찰된 기본 수준 일반화 편향을 재현할 수 있는가?
• RQ4 관측된 예제 수가 모델의 기본 수준 일반화 편향 강도에 미치는 영향은 무엇이며, 인간 행동과 일치하는가?

주요 결과

• 기본 수준 레이블로 훈련한 결과, 시각적으로 다양하지만 의미적으로 관련된 예시들(예: 다양한 개 품종)이 더 잘 군집화되었으며, 계층도를 통해 이를 확인할 수 있었다.
• 기본 수준 레이블로 훈련한 모델는 인간의 유사성 판단을 설명하는 데 있어 보조 수준 레이블 전용 모델보다 성능이 유사하거나 뛰어나게 달성했다.
• 기본 수준 레이블로 훈련된 모델는 강력한 기본 수준 일반화 편향을 보였다—즉, 새로운 레이블을 더 넓은 범주(예: '다크'를 모든 개로 일반화)로 일반화할 가능성이 비영제가 되었으며, 예제 수가 적을수록 증가하고 많아질수록 감소하는 경향을 보였으며, 인간의 행동과 매우 유사했다.
• 보조 모델(보조 레이블 전용 훈련)은 약한 기본 수준 편향을 보였으며, 이는 시각적 유사성만으로는 강력한 계층적 일반화를 유도하기에 부족하다는 것을 시사한다.
• 기본 수준 및 보조 수준 레이블을 모두 사용한 '모두 모델'은 인간 일반화 패턴과의 일치도를 더욱 향상시켰으며, 이는 다수 수준 감독이 표현 품질을 향상시킨다는 것을 나타낸다.
• 일반화 모델 식에 예제 수(n)를 포함시키는 것이 인간 데이터와의 일치도를 크게 향상시켰으며, 특히 3개 예제 조건에서 모델의 행동이 인간 경향과 매우 유사하게 나타났다.