[논문 리뷰] Eigen-Distortions of Hierarchical Representations

Alexander Berardino, Johannes Ballé외 2명|arXiv (Cornell University)|2017. 10. 06.

Visual Attention and Saliency Detection참고 문헌 16인용 수 21

한 줄 요약

이 논문은 인간 시각과 인공 모델 간의 인지적 유사성 평가를 위해 모델 예측의 가장 뚜렷하고 가장 덜 뚜렷한 이미지 왜곡을 생성하기 위해 피셔 정보 기반 방법을 제안한다. 연구 결과, 국소 이득 제어를 갖춘 생물학적으로 영감을 받은 초기 시각 모델이 VGG16과 왜곡 훈련된 CNN과 같은 딥 네트워크보다 인간이 이미지 왜곡에 민감하게 반응하는 방식을 더 잘 예측하는 것으로 드러났다.

ABSTRACT

We develop a method for comparing hierarchical image representations in terms of their ability to explain perceptual sensitivity in humans. Specifically, we utilize Fisher information to establish a model-derived prediction of sensitivity to local perturbations of an image. For a given image, we compute the eigenvectors of the Fisher information matrix with largest and smallest eigenvalues, corresponding to the model-predicted most- and least-noticeable image distortions, respectively. For human subjects, we then measure the amount of each distortion that can be reliably detected when added to the image. We use this method to test the ability of a variety of representations to mimic human perceptual sensitivity. We find that the early layers of VGG16, a deep neural network optimized for object recognition, provide a better match to human perception than later layers, and a better match than a 4-stage convolutional neural network (CNN) trained on a database of human ratings of distorted image quality. On the other hand, we find that simple models of early visual processing, incorporating one or more stages of local gain control, trained on the same database of distortion ratings, provide substantially better predictions of human sensitivity than either the CNN, or any combination of layers of VGG16.

연구 동기 및 목표

• 인공 계층적 표현이 인간의 인지 감도와 얼마나 잘 일치하는지 시스템적으로 평가할 수 있는 방법을 개발하는 것.
• 인간의 분별 임계치를 사용하여 모델 예측의 극단적 왜곡(가장 뚜렷하고 가장 덜 뚜렷한 것들)을 특정하고 시험하는 것.
• 딥 네트워크(예: VGG16)와 생물학적으로 영감을 받은 모델이 인간의 인지 감도를 예측하는 데 얼마나 효과적인지 비교하는 것.
• 분류 작업에서 뛰어난 성능를 보이지만 인간과 유사한 인지 감도로 일반화하지 못하는 딥 네트워크의 실패 원인을 탐구하는 것.
• 기존 생리학적 메커니즘(예: 국소 이득 제어)을 통합함으로써 인지 모델링의 성능 향상 여부를 평가하는 것.

제안 방법

• 이 방법은 주어진 이미지에 대해 가장 뚜렷하고 가장 덜 뚜렷한 왜곡을 나타내는 고유벡터를 계산하기 위해, 인지 모델의 피셔 정보 행렬(FIM)을 사용한다. 이 고유벡터는 각각 가장 큰 및 가장 작은 고유값에 대응한다.
• FIM은 모델의 조건부 밀도 p(r|x)에서 유도되며, 여기서 r은 내부 신경 반응을 나타내고 x는 이미지 입력이다.
• 이러한 왜곡의 분별 임계치는 인간 관측자를 활용해 실측하여 탐지 가능성을 평가한다.
• 가장 뚜렷한 왜곡과 가장 덜 뚜렷한 왜곡에 대한 실측 임계치의 비율을 인간 인지와의 일치도를 절대적 척도로 사용한다.
• 이 방법은 VGG16의 각 레이어, 인간의 왜곡 평가에 기반해 훈련된 4단계 CNN, 그리고 국소 이득 제어를 갖춘 LGN의 생물학적 모델에 적용된다.
• 이 방법은 수동으로 선택된 예시가 아닌, 모델 최적화된 자극을 사용해 인지 모델에 대한 '튜링 테스트'를 가능하게 한다.

실험 결과

연구 질문

• RQ1 피셔 정보를 사용해 인공 모델과 인간 인지 간의 괴리를 드러내는 타겟된 모델 예측 왜곡을 생성할 수 있는가?
• RQ2 VGG16의 초기 레이어와 깊은 레이어는 이미지 왜곡에 대한 인간의 감도를 어떻게 예측하는가?
• RQ3 기존 시각 시스템 메커니즘(예: On/Off 경로, 국소 이득 제어 등)을 포함한 생물학적으로 영감을 받은 모델은 일반적인 딥 네트워크보다 인간의 인지 임계치를 더 잘 예측하는가?
• RQ4 분류 작업에서 뛰어난 성능를 보이지만 인간과 유사한 인지 감도로 일반화하지 못하는 딥 네트워크의 실패 원인은 무엇인가?
• RQ5 특히 생리학적 제약 조건이 포함된 모델의 구조는 일반화 및 인지 예측 정확도 향상에 얼마나 기여하는가?

주요 결과

• VGG16의 초기 레이어(Front, Layer 3)는 후속 레이어보다 인간의 인지 감도를 더 잘 예측하며, 깊이가 증가함에 따라 정확도가 감소한다.
• 인간의 왜곡 평가에 기반해 훈련된 4단계 CNN은 깊은 VGG16 레이어보다 성능이 뛰어나지만, 초기 VGG16 레이어보다는 열등하다.
• 국소 이득 제어 및 초기 시각 시스템 생리학을 반영한 모델(예: LGN 모델)은 VGG16과 왜곡 훈련된 CNN을 모두 압도적으로 뛰어넘었으며, 가장 복잡한 LGN 모델(LGG)은 인간 데이터와 상관계수 ρ = .83를 기록했다.
• 다양한 기능 요소를 포함한 LGG 모델은 VGG16의 모든 레이어나 VGG-IQA 모델보다 높은 예측 정확도를 가진 고유 왜곡을 생성했다.
• 딥 네트워크가 인간 인지와 일치하지 못하는 실패 요인은 인간 평가 데이터에 대한 표준 교차 검증을 통해는 감지되지 않았지만, 모델이 생성한 고유 왜곡에 대한 시험을 통해 드러났다.
• 영양소 시각 생리학 기반의 구조적 제약(예: 국소 이득 제어)은 구조가 없는 딥 네트워크보다 더 강력한 정규화 역할을 하며, 더 나은 일반화를 가능하게 한다.