[논문 리뷰] A Developmentally-Inspired Examination of Shape versus Texture Bias in Machines

Alexa R. Tartaglini, Wai Keen Vong외 1명|arXiv (Cornell University)|2022. 02. 16.

Face Recognition and Perception인용 수 10

한 줄 요약

이 연구는 어린이에게 사용되는 발달심리학적 실험 설계를 응용하여 딥 네ural 네트워크의 형태 대 텍스처 편향을 재평가한다. 생태학적으로 타당한 조건에서 테스트한 결과, 사전 훈련된 모델들은 이전 연구에서 보고한 바와 같이 텍스처 편향을 보이지 않고 오히려 강한 형태 편향을 보였다. 결과적으로 이전의 결론은 자극 설계 및 테스트 절차의 방법론적 차이에서 기인했을 가능성이 있으며, 인간과 기계 간 공정한 비교를 위해서는 인간 발달 테스트와의 일치가 중요하다는 점을 시사한다.

ABSTRACT

Early in development, children learn to extend novel category labels to objects with the same shape, a phenomenon known as the shape bias. Inspired by these findings, Geirhos et al. (2019) examined whether deep neural networks show a shape or texture bias by constructing images with conflicting shape and texture cues. They found that convolutional neural networks strongly preferred to classify familiar objects based on texture as opposed to shape, suggesting a texture bias. However, there are a number of differences between how the networks were tested in this study versus how children are typically tested. In this work, we re-examine the inductive biases of neural networks by adapting the stimuli and procedure from Geirhos et al. (2019) to more closely follow the developmental paradigm and test on a wide range of pre-trained neural networks. Across three experiments, we find that deep neural networks exhibit a preference for shape rather than texture when tested under conditions that more closely replicate the developmental procedure.

연구 동기 및 목표

• 인간이 초기 어휘 학습 시 나타내는 것처럼, 딥 네럴 네트워크가 물체 분류 과정에서 형태 편향 또는 텍스처 편향을 보이는지 조사하기 위해.
• 이전 연구에서 DNNs에 대해 텍스처 편향이 보고된 데 반해, 이는 발달심리학 실험과 유사한 절차로 재테스트하여 이의 모순을 해결하기 위해.
• 모델 아키텍처 설계, 사전 훈련 목표(예: 지도 학습 대 자기지도 학습), 자극 성질(예: 배경 텍스처, 형태 정렬)이 DNNs에서 형태 편향의 발생에 미치는 영향을 조사하기 위해.
• 이전에 보고된 DNNs의 텍스처 편향이 자극 설계의 산물인지, 모델 행동의 본질적 인덕티브 편향인지 판단하기 위해.

제안 방법

• 어린이에게 사용되는 발달심리학적 자극과 절차를 응용하여 딥 네럴 네트워크에서 형태 대 텍스처 편향을 테스트하기 위해.
• 스타일 전이를 통해 한 카테고리의 형태와 다른 카테고리의 텍스처를 조합하여 쌍방향 충돌 자극을 제작하였으며, 형태와 텍스처 모두가 시각적으로 두드러지도록 하였다.
• CNNs와 비전 트랜스포머를 포함한 다양한 사전 훈련된 모델을 대상으로 세 가지 실험 조건(적응형 자극, 새로운 자극, 배경 텍스처가 다른 자극)에서 테스트하였다.
• 삼중체 기반의 테스트 형식을 사용하여 모델이 형태 일치 또는 텍스처 일치 중에서 선택하도록 하였으며, 편향은 형태 기반 응답의 비율로 계산하였다.
• 배경 텍스처, 형태 정렬, 물체의 익숙함 등의 요소가 모델 행동에 미치는 영향을 분리하기 위해 자극 조건을 다양화하였다.
• 언어나 레이블 기반 사전 훈련 여부에 따라 모델을 비교하여 지도 학습이 인덕티브 편향 형성에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 어린이의 발달심리학 실험과 유사한 조건에서 테스트할 경우, 딥 네럴 네트워크는 형태 편향을 보이는가?
• RQ2 이전 연구에서는 DNNs에 강한 텍스처 편향이 보고되었지만, 이 연구는 유사한 테스트 절차에서 강력한 형태 편향을 발견한다. 이는 왜인가?
• RQ3 모델 아키텍처의 차이(예: CNNs 대 비전 트랜스포머)와 사전 훈련 목표(예: 지도 학습 대 자기지도 학습)가 DNNs의 형태 편향 강도에 어떻게 영향을 미치는가?
• RQ4 배경 텍스처는 쌍방향 자극에서 DNNs의 분류 행동에 얼마나 큰 영향을 미치며, 인간의 인지와 비교해보면 어떠한가?
• RQ5 왜 모델은 인간보다 형태 편향에서 더 큰 변동성을 보이며, 이는 인공지능과 인간 지능의 인덕티브 편향의 본질에 대해 어떤 시사점을 제공하는가?

주요 결과

• 청결한 배경과 정렬된 형태 자극을 사용한 발달심리학적 절차로 테스트한 결과, 대부분의 사전 훈련된 딥 네럴 네트워크가 강력한 형태 편향을 보였으며, 이는 이전 연구에서 보고된 텍스처 편향과 정면으로 배치된다.
• 클래스 레이블이 포함된 ImageNet에서 사전 훈련된 모델은 무작위 초기화된 모델 대비 형태 편향이 유의미하게 강했다. 이는 지도 학습 사전 훈련이 형태 편향을 강화시킨다는 것을 시사한다.
• 새로운 자극을 사용하거나 배경 텍스처를 과도하게 강조한 조건에서 형태 편향이 감소함을 관찰하여, 자극의 맥락이 편향 표현에 결정적인 영향을 미친다는 점을 확인하였다.
• 언어나 레이블 노출 없이도 자기지도 학습된 모델들이 특정 조건에서 여전히 강력한 형태 편향을 보였으며, 이는 형태 편향의 발생에 언어 입력이 반드시 필요하다는 가정을 도전한다.
• 이전 연구에서 관찰된 텍스처 편향의 정도는 자극 설계의 산물이었으며, 특히 두드러진 배경 텍스처의 존재 때문이었고, DNNs의 본질적 인덕티브 편향은 아니었다.
• 테스트 절차의 방법론적 차이가 모델 아키텍처 외에도 관찰된 편향에 크게 영향을 미칠 수 있음을 확인하였으며, 이는 종 간 공정한 평가 프로토콜의 필요성을 강조한다.