[논문 리뷰] Alignment with human representations supports robust few-shot learning

Ilia Sucholutsky, Thomas L. Griffiths|arXiv (Cornell University)|2023. 01. 27.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 인간의 인지적 구조와의 표현 정렬이 시각 모델의 few-shot 학습 능력과 강건성 향상에 기여함을 제안한다. 정보 이론적 프레임워크와 491개 모델에 대한 실증 분석을 통해 정렬도와 성능 간에 U자형 관계를 발견하였으며, 이는 높거나 낮은 정렬도를 가진 모델이 중간 수준의 정렬도를 가진 모델보다 성능이 뛰어나다는 것을 의미한다. 이는 인간 중심의 모델이 더 잘 일반화되며, 적대적 예제와 도메인 이동에 더 강건함을 입증한다.

ABSTRACT

Should we care whether AI systems have representations of the world that are similar to those of humans? We provide an information-theoretic analysis that suggests that there should be a U-shaped relationship between the degree of representational alignment with humans and performance on few-shot learning tasks. We confirm this prediction empirically, finding such a relationship in an analysis of the performance of 491 computer vision models. We also show that highly-aligned models are more robust to both natural adversarial attacks and domain shifts. Our results suggest that human-alignment is often a sufficient, but not necessary, condition for models to make effective use of limited data, be robust, and generalize well.

연구 동기 및 목표

• 인간의 인지적 구조와의 표현 정렬이 few-shot 학습 과제에서 모델 성능을 향상시키는지 조사하기.
• 인간 중심의 표현이 자료 부족 조건에서 일반화를 위한 효과적인 인덕티브 바이어스가 되는지 규명하기.
• 인간 중심의 모델이 자연적 적대적 예제와 도메인 이동에 대해 얼마나 강건한지 평가하기.
• 이전 연구에서 정렬의 이점에 대해 양립할 수 없는 결과가 있었던 점을 해결하기 위해 성능와의 비단조화적 관계를 규명하기.
• 표현 정렬이 시각 과제에서 바람직한 모델 행동을 위한 충분조건이지만 필수 조건은 아니라는 점을 탐색하기.

제안 방법

• 인간과의 표현 정렬에 기반해 잠재적 행동을 예측하는 정보 이론적 프레임워크를 개발하였다.
• 425,000개의 자극 쌍에 대해 1,200명의 참가자들이 제공한 인간의 유사도 판단을 사용하여 표현 정렬도를 측정하였다.
• 하류의 few-shot 학습, 적대적 강건성, 도메인 이동 과제에서 491개의 대규모 컴퓨터 비전 모델을 훈련하고 평가하였다.
• 삼중체 기반의 지도 학습을 사용하여 모델 비교에서 인간과 유사한 추론 방식을 시뮬레이션하였다.
• 모델과 인간의 잠재 표현 간의 정렬도를 정량화하기 위해 표현 유사도 분석(RSA)을 적용하였다.
• 사전 훈련 성능을 보정하는 아블레이션 연구를 수행하여 정렬의 영향을 고립시켰다.

실험 결과

연구 질문

• RQ1 인간과의 표현 정렬이 향상된 few-shot 학습 성능을 이끌어내는가?
• RQ2 정보 이론적 프레임워크가 예측한 바와 같이, 정렬도와 모델 성능 간에 비단조화적 관계가 존재하는가?
• RQ3 인간 중심의 모델은 자연적 적대적 예제와 도메인 이동에 대해 더 강건한가?
• RQ4 표현 정렬도가 강건한 일반화를 위해 필수 조건인가, 아니면 비정렬 모델도 동일한 성능을 낼 수 있는가?
• RQ5 개별 인간 표현과 집단 평균 표현은 모델 정렬도와 성능에 어떻게 영향을 미치는가?

주요 결과

• 표현 정렬도와 few-shot 학습 성능 간에 U자형 관계가 존재한다: 높거나 낮은 정렬도를 가진 모델이 중간 수준의 정렬도를 가진 모델보다 성능이 뛰어나며, 사전 훈련 정확도를 보정한 후에도 동일한 결과를 보였다.
• 인간 중심의 모델은 주 데이터셋의 사전 훈련 정확도와 무관하게 자연적 적대적 예제에 대해 뚜렷이 더 강건한 것으로 나타났다.
• 인간 중심의 모델은 도메인 이동에 더 강건하며, 분포 이동 상황에서도 중간 수준의 정렬도를 가진 모델보다 성능 유지 능력이 뛰어나다.
• 높은 수준의 정렬도를 가진 모델은 모두 세 가지 평가 과제—few-shot 학습, 적대적 강건성, 도메인 이동—에서 최고의 성능을 기록하여, 정렬도가 이러한 이점에 대해 충분조건이지만 필수 조건은 아님을 확인하였다.
• U자형 패턴은 이전 연구에서 중간 수준의 정렬도를 가진 모델이 높은 정렬도 점수를 가짐에도 불구하고 성능이 열등했던 이유를 설명한다.
• 인간 중심의 표현을 사용해 훈련된 모델는 일반화 능력이 향상되어, 이러한 정렬이 자료가 제한된 학습 조건에서 강력한 인덕티브 바이어스를 제공한다는 것을 시사한다.