[논문 리뷰] Distinguishing representational geometries with controversial stimuli: Bayesian experimental design and its application to face dissimilarity judgments

Tal Golan, Wenxuan Guo외 2명|arXiv (Cornell University)|2022. 11. 28.

Face Recognition and Perception인용 수 4

한 줄 요약

이 논문은 신경망 모델의 표현 기하학적 구조를 효율적으로 구분할 수 있도록 논란의 여지가 있는 刺자 집합을 생성하기 위한 베이지안 실험 설계 방법을 제안한다. 얼굴 비유사성 판단에서 모델 간의 구분을 극대화하기 위해 자극을 최적화함으로써, 3차원 얼굴 렌더러를 뒤집는 데 훈련된 신경망이 분류, 식별 또는 오토에코딩 작업에 훈련된 동등한 모델들보다 인간의 인지적 판단과 더 잘 일치하는 것으로 나타났다.

ABSTRACT

Comparing representations of complex stimuli in neural network layers to human brain representations or behavioral judgments can guide model development. However, even qualitatively distinct neural network models often predict similar representational geometries of typical stimulus sets. We propose a Bayesian experimental design approach to synthesizing stimulus sets for adjudicating among representational models efficiently. We apply our method to discriminate among candidate neural network models of behavioral face dissimilarity judgments. Our results indicate that a neural network trained to invert a 3D-face-model graphics renderer is more human-aligned than the same architecture trained on identification, classification, or autoencoding. Our proposed stimulus synthesis objective is generally applicable to designing experiments to be analyzed by representational similarity analysis for model comparison.

연구 동기 및 목표

• 표준 자극 집합에서 품질적으로 다른 신경망 모델이 예측하는 유사한 표현 기하학적 구조 문제를 해결하기 위해.
• 서로 다른 신경망 모델의 표현 기하학적 구조를 효율적으로 구분할 수 있도록 '논란의 여지가 있는' 자극을 생성하는 자극 합성 방법을 개발하기 위해.
• 표현 유사성 분석을 통해 인간의 행동적 얼굴 비유사성 판단 모델을 비교하기 위해 이 방법을 적용하기 위해.
• 인간 참가자들과 추론 실험, 아블레이션 연구를 통해 방법의 효과성을 검증하기 위해.
• 이러한 자극 최적화 목표가 얼굴 인식을 초월하여 뇌 활동 또는 행동적 판단을 측정하는 RSA 기반 실험으로 일반화될 수 있는지 보여주기 위해.

제안 방법

• 실험적 매개변수 대신 자극 집합 자체를 최적화하기 위해 베이지안 최적 실험 설계(BOED)를 사용한다.
• 각 모델이 자신의 생성 데이터를 예측할 때 가장 우수한 대안 모델에 비해 기대 우위를 극대화하는 전역 유틸리티 함수를 설정한다.
• 오류 모델 복구를 강조하고, 다른 모델의 데이터를 잘못 예측하는 모델을 징벌하기 위해 f(x) = -e^(-10x)의 포화 함수를 사용한다.
• 국소 최적화를 통해 전역 최적값을 피하기 위해, 바젤 얼굴 모델을 사용하여 3차원 얼굴 모델의 형태와 질감 성분을 모두 최적화하여 자극을 생성한다.
• 고정 RSA(가중치 없는 표현 기하학)와 추정된 가중치를 가진 유연한 모델을 모두 지원한다.
• 형태 또는 질감만 최적화하는 것, 단일 대비 다중 모델 인스턴스 사용, 모델 성능에 대한 대안 함수의 다양성 등 아블레이션 연구를 통해 영향을 평가한다.

실험 결과

연구 질문

• RQ1 서로 다른 신경망 모델의 표현 기하학적 구조를 효율적으로 구분할 수 있도록 논란의 여지가 있는 자극을 생성하는 자극 합성 방법을 개발할 수 있는가?
• RQ2 3차원 얼굴 렌더러를 뒤집는 데 훈련된 신경망이 분류, 식별 또는 오토에코딩 작업에 훈련된 모델들보다 인간의 얼굴 비유사성 판단과 더 잘 일치하는 표현 기하학적 구조를 생성하는가?
• RQ3 이러한 방법이 자극 집합 초기화 및 최적화 구성 요소의 변동에 대해 얼마나 강인한가?
• RQ4 모델 성능 풀링 함수의 차이가 실험 설계에서 모델 복구 정확도에 얼마나 큰 영향을 미치는가?
• RQ5 제안된 자극 최적화 목표가 얼굴 인식을 초월한 다른 RSA 기반 실험(뇌 활동 또는 행동적 판단 측정)으로 일반화될 수 있는가?

주요 결과

• 3차원 얼굴 모델 렌더러를 뒤집는 데 훈련된 신경망이 분류, 식별 또는 오토에코딩 작업에 훈련된 모델들보다 인간의 인지적 비유사성 판단과 유의미하게 더 잘 일치하는 것으로 나타났다.
• 형태와 질감 성분을 모두 최적화한 자극이 가장 높은 모델 복구 정확도를 보였으며, 형태만 최적화할 경우 성능이 극적으로 떨어졌다.
• 최적화 과정에서 다중 모델 인스턴스를 사용할 경우 단일 인스턴스 사용보다 더 강인하고 정확한 결과를 얻었다.
• f(x) = -e^(-10x)의 포화 함수는 정규화 함수보다 변동성을 줄이고 모델 간의 구분을 향상시켜, 특히 정확한 예측에 대한 과신을 징벌함으로써 더 우수한 성능을 보였다.
• 대안 모델 성능에 대해 하드 최대 풀링 함수를 사용할 경우 비록 비연속적이지만 가장 높은 모델 복구 정확도를 기록했다.
• 이 방법은 재현 가능성을 보였다: 다른 난수 시드를 사용해 생성한 두 번째 논란의 자극 집합에서도 일관된 결과를 보였으며, 3D 뒤집기 모델이 다시 모든 다른 모델들을 압도했다.