[논문 리뷰] Exploring Alignment of Representations with Human Perception

Vedant Nanda, Ayan Majumdar외 5명|arXiv (Cornell University)|2021. 11. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 2

한 줄 요약

이 논문은 기계 학습 모델의 성능 평가를 위해 인간의 인지와 유사한 표현을 얼마나 잘 학습하는지 측정하는 방법을 제안한다. 표현 역전(inversion)을 사용해 인간의 인지와 유사한 입력을 생성하고, 인간 대상 설문 조사를 통해 유사도를 정량화한다. 주요 기여는 모델의 신뢰성과 학습 프레임워크, 손실 함수, 데이터 증강 기법이 인간과 유사한 표현 학습에 미치는 영향를 드러내는 인지적 일치도 메트릭이다.

ABSTRACT

We argue that a valuable perspective on when a model learns extit{good} representations is that inputs that are mapped to similar representations by the model should be perceived similarly by humans. We use extit{representation inversion} to generate multiple inputs that map to the same model representation, then quantify the perceptual similarity of these inputs via human surveys. Our approach yields a measure of the extent to which a model is aligned with human perception. Using this measure of alignment, we evaluate models trained with various learning paradigms (\eg~supervised and self-supervised learning) and different training losses (standard and robust training). Our results suggest that the alignment of representations with human perception provides useful additional insights into the qualities of a model. For example, we find that alignment with human perception can be used as a measure of trust in a model's prediction on inputs where different models have conflicting outputs. We also find that various properties of a model like its architecture, training paradigm, training loss, and data augmentation play a significant role in learning representations that are aligned with human perception.

연구 동기 및 목표

• 기계 학습 모델이 인간의 인지와 일치하는 표현을 얼마나 잘 학습하는지 평가하는 것.
• 기본 정확도나 손실 메트릭 이외의 모델 표현 평가의 격차를 메우는 것.
• 다양한 학습 프레임워크와 손실 함수가 인지적 일치도에 미치는 영향을 조사하는 것.
• 모호하거나 모순되는 예측에서 모델의 신뢰성에 대한 인간 중심의 평가 메트릭을 제공하는 것.

제안 방법

• 동일한 모델 표현으로 매핑되는 여러 입력을 생성하기 위해 표현 역전 기법을 사용하는 것.
• 인간의 인지에 기반한 유사도를 측정하기 위해 인간 대상 인지 설문 조사를 실시하는 것.
• 인간이 평가한 역전 입력 쌍 간의 평균 유사도 점수로 인지적 일치도를 정량화하는 것.
• 감독 학습, 자기지도 학습, 표준 및 강건 학습 목표로 훈련된 다양한 모델을 평가하는 것.
• 모델 아키텍처, 학습 손실, 데이터 증강, 학습 프레임워크가 인지적 일치도에 미치는 영향을 분석하는 것.
• 수득된 일치도 점수를 모델 표현이 인간과 얼마나 유사한지의 지표로 사용하는 것.

실험 결과

연구 질문

• RQ1 인간이 유사하게 인지하는 경우, 모델 표현이 입력을 유사한 표현으로 매핑하는 정도는 어느 정도인가?
• RQ2 예를 들어 감독 학습 대비 자기지도 학습과 같은 학습 프레임워크의 선택이 표현의 인지적 일치도에 어떤 영향을 미치는가?
• RQ3 표준 손실과 강건 손실을 사용할 경우, 모델 표현의 인지적 일관성은 어떻게 영향을 받는가?
• RQ4 모순되는 예측이 발생할 경우, 인지적 일치도가 모델의 신뢰성에 대한 신뢰할 만한 지표가 될 수 있는가?
• RQ5 데이터 증강과 모델 아키텍처는 인간 인지와 일치하는 표현을 형성하는 데 어떤 역할을 하는가?

주요 결과

• 자기지도 학습으로 훈련된 모델는 표준 감독 학습으로 훈련된 모델보다 더 높은 인지적 일치도를 보였다.
• 강건 학습은 표준 학습 대비 인간 인지와 더 잘 일치하는 표현을 생성했다.
• 다양한 모델이 모순되는 예측을 내보내는 경우, 인지적 일치도는 모델의 신뢰성에 대한 신뢰 신호로 기능할 수 있다.
• 데이터 증강과 모델 아키텍처는 학습된 표현의 인지적 일치도 수준에 상당한 영향을 미친다.
• 인지적 일치도 메트릭은 기존 평가 메트릭이 포착하지 못하는 표현의 정성적 차이를 드러낸다.