[논문 리뷰] Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations

Thomas Yerxa, Yilun Kuang외 2명|arXiv (Cornell University)|2023. 03. 06.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 저차원 다양체에서 분리 가능한 객체 카테고리의 수를 최대화함으로써 높은 코드화 효율성을 확보하는 새로운 자기지도 학습 방법인 최대 다각형 용량 표현(MMCR)을 제안한다. 계산 비용이 높은 다각형 용량 측정법을 미분 가능한 목적 함수로 재구성함으로써, MMCR는 ImageNet-1K에서 8개의 뷰로 72.1%의 상위-1 선형 평가 정확도를 달성하여 최신 기준을 충족시키며, 객체 검출에서도 AP50 = 81.9의 뛰어난 성능을 보였고, 영양성 다각형 스트림 반응을 모델링하는 데 생물학적으로 타당한 결과를 보였다.

ABSTRACT

The efficient coding hypothesis proposes that the response properties of sensory systems are adapted to the statistics of their inputs such that they capture maximal information about the environment, subject to biological constraints. While elegant, information theoretic properties are notoriously difficult to measure in practical settings or to employ as objective functions in optimization. This difficulty has necessitated that computational models designed to test the hypothesis employ several different information metrics ranging from approximations and lower bounds to proxy measures like reconstruction error. Recent theoretical advances have characterized a novel and ecologically relevant efficiency metric, the manifold capacity, which is the number of object categories that may be represented in a linearly separable fashion. However, calculating manifold capacity is a computationally intensive iterative procedure that until now has precluded its use as an objective. Here we outline the simplifying assumptions that allow manifold capacity to be optimized directly, yielding Maximum Manifold Capacity Representations (MMCR). The resulting method is closely related to and inspired by advances in the field of self supervised learning (SSL), and we demonstrate that MMCRs are competitive with state of the art results on standard SSL benchmarks. Empirical analyses reveal differences between MMCRs and representations learned by other SSL frameworks, and suggest a mechanism by which manifold compression gives rise to class separability. Finally we evaluate a set of SSL methods on a suite of neural predictivity benchmarks, and find MMCRs are higly competitive as models of the ventral stream.

연구 동기 및 목표

• 자기지도 학습 목적 함수로 사용하기 위해 다각형 용량 측정법을 재구성하여, 이를 미분 가능하고 최적화에 유리한 형태로 변환하는 것.
• 동일한 객체의 뷰를 압축적으로 표현하면서도 서로 다른 객체 카테고리를 분리하는 최대 다각형 용량 표현(MMCR)을 학습하는 것.
• 표준 자기지도 학습 벤치마크, 특히 선형 평가 및 객체 검출을 통한 MMCR의 성능 평가.
• 영양성 다각형 스트림의 신경 반응과 비교하여 MMCR의 생물학적 타당성 평가.
• 다양체 압축이 무 supervision 표현에서 클래스 분리성 향상에 어떻게 기여하는지 메커니즘 탐구.

제안 방법

• 중심점 행렬의 특이값 분해(SVD)를 사용하여, 원래 평가 목적 전용이었던 다각형 용량 측정법을 미분 가능한 목적 함수로 재구성.
• 대조 학습을 사용하여 ResNet-50 인코더에 프로젝터 헤드를 추가하고, 목적 함수는 선형적으로 분리 가능한 객체 카테고리의 수를 최대화하도록 설정.
• 동일한 이미지의 여러 뷰를 양성 쌍으로 사용하며, 훈련 안정성을 높이기 위해 모멘텀 인코더를 적용.
• 선형 평가 프로토콜을 적용: 고정된 특징에 대해 선형 분류기 훈련을 통해 표현 품질 평가.
• VOC07+12에서 Faster R-CNN과 C-4 백본을 사용하여 객체 검출 미세조정을 수행하여 전이 가능성 테스트.
• 영양성 다각형 스트림의 신경 데이터와 비교하여 MMCR 표현의 생물학적 타당성 평가.

실험 결과

연구 질문

• RQ1 다시 구성된 다각형 용량 측정법이 자기지도 표현 학습의 효과적이고 미분 가능한 목적 함수로 사용될 수 있는가?
• RQ2 MMCR는 선형 평가 정확도 및 전이 성능 측면에서 최신 자기지도 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ3 다양체 압축이 무 supervision 표현에서 클래스 분리성 향상에 어떻게 기여하는가?
• RQ4 MMCR 표현은 영양성 다각형 스트림의 신경 반응을 어느 정도 잘 예측하는가?
• RQ5 더 긴 사전 훈련이 MMCR 성능 향상에 기여하는가? 그리고 시각 수와의 스케일링 특성은 어떻게 되는가?

주요 결과

• MMCR는 8개의 뷰로 ImageNet-1K에서 상위-1 선형 평가 정확도 72.1%를 기록하여, SimCLR 및 MoCo v2와 같은 최신 기준 방법과 동등하거나 이를 초월했다.
• 2개의 뷰에서 1000 에포크의 사전 훈련을 거친 MMCR는 상위-1 정확도 73.0%를 기록하여, SimCLR(69.3%)와 MoCo v2(71.1%)를 모두 초월했다.
• VOC07+12 객체 검출 벤치마크에서 MMCR는 AP50 81.9를 기록하여 MoCo v2(82.4)와 유사했고, ReLICv2(77.1% mAP)와 같은 최신 기준 방법과도 경쟁 가능한 성능을 보였다.
• 모멘텀 인코더의 사용은 특히 뷰 수가 적을 경우에 더 큰 성능 향상을 가져왔으며, 이는 양성 쌍의 다양성 향상에 기여한 것으로 보인다.
• MMCR 표현은 강력한 신경 예측 성능를 보였으며, 영양성 다각형 스트림 신경 반응 벤치마크 세트 전반에서 뛰어난 성능를 보였다.
• 스펙트럼 분석 결과, MMCR 표현은 고유값에 대해 지수 계수 약 1에 가까운 파wer-law 감쇠를 보였으며, 이는 일반화 능력과 생물학적 타당성과 관련된 특징으로 알려져 있다.