[논문 리뷰] The Intrinsic Dimension of Images and Its Impact on Learning

Phil Pope, Chen Zhu외 3명|arXiv (Cornell University)|2021. 04. 18.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 23

한 줄 요약

이 논문은 차원 분석 도구를 사용하여 자연 이미지 데이터셋의 내재 차원(이하 ID)을 조사하며, ImageNet의 경우 이미지당 150,528 픽셀과 같은 높은 임베딩 차원을 지님에도 불구하고 이들의 내재 차원이 매우 낮다는 것을 입증한다—추정치는 26에서 43 사이이다. 연구는 낮은 내재 차원이 딥 러닝에서 표본 복잡도 감소와 더 나은 일반화와 강하게 관련되어 있음을 보여주며, 딥 네트워크가 이미지 데이터에서 성공을 거두는 데 내재된 저차원적 구조가 기여한다는 가설을 검증한다.

ABSTRACT

It is widely believed that natural image data exhibits low-dimensional structure despite the high dimensionality of conventional pixel representations. This idea underlies a common intuition for the remarkable success of deep learning in computer vision. In this work, we apply dimension estimation tools to popular datasets and investigate the role of low-dimensional structure in deep learning. We find that common natural image datasets indeed have very low intrinsic dimension relative to the high number of pixels in the images. Additionally, we find that low dimensional datasets are easier for neural networks to learn, and models solving these tasks generalize better from training to test data. Along the way, we develop a technique for validating our dimension estimation tools on synthetic data generated by GANs allowing us to actively manipulate the intrinsic dimension by controlling the image generation process. Code for our experiments may be found here https://github.com/ppope/dimensions.

연구 동기 및 목표

• MNIST, CIFAR-10, ImageNet과 같은 인기 있는 이미지 데이터셋의 내재 차원을 경험적으로 측정하는 것.
• 딥 러닝에서 내재 차원과 표본 복잡도 간의 관계를 조사하는 것.
• 알려진 잠재 차원을 가진 GAN으로 생성된 합성 데이터를 사용해 차원 추정 도구의 유효성을 검증하는 것.
• 외재 차원(임베딩 공간)이 일반화 성능을 예측하는 데 더 유용한지, 아니면 내재 차원이 더 중요한지 조사하는 것.
• 데이터 증강 및 노이즈 주입을 통해 내재 차원을 제어할 수 있는 통제된 실험 프레임워크를 개발하는 것.

제안 방법

• 실제 및 합성 데이터셋에서 내재 차원을 추정하기 위해 다양한 k-최근접 이웃을 사용한 최대우도추정법(MLE)을 적용하였다.
• 잠재 노이즈 차원으로 제한되는 제어된 내재 차원을 가진 합성 이미지 데이터를 생성하기 위해 조건부 GAN을 사용하였다.
• 실제 데이터셋(예: CIFAR-10)에 다양한 차원의 균일하게 샘플링된 노이즈를 주입하여 내재 차원을 체계적으로 증가시켰다.
• 내재 차원을 제어하기 위해 척도 조정, 회전 등의 기하 증강을 점차 늘린 FONTS 데이터셋을 구축하였다.
• 내재 차원이 다양한 데이터 부분집합에서 훈련된 딥 네트워크의 수렴에 필요한 표본 복잡도를 측정하기 위해 딥 네트워크를 훈련시켰다.
• 내재 차원 추정의 강건성과 일관성을 확보하기 위해 MLE에 다수의 k값(3, 4, 5, 10, 20)을 사용하였다.

실험 결과

연구 질문

• RQ1 MNIST, CIFAR-10, ImageNet과 같은 널리 쓰이는 이미지 데이터셋의 내재 차원은 얼마인가?
• RQ2 내재 차원은 딥 네트워크가 일반화하기 위해 필요한 표본 복잡도에 어떻게 영향을 미치는가?
• RQ3 외재 차원(픽셀 수)이 일반화에 영향을 미치는가, 아니면 내재 차원이 주요 요인인가?
• RQ4 알려진 잠재 차원을 가진 GAN으로 생성된 데이터를 사용해 내재 차원 추정 도구의 유효성을 검증할 수 있는가?
• RQ5 실제 데이터셋에서 데이터 증강 또는 노이즈 주입을 통해 내재 차원을 어느 정도 제어할 수 있는가?

주요 결과

• ImageNet은 이미지당 150,528픽셀을 지니고 있음에도 불구하고 내재 차원 추정치가 26에서 43 사이로 나타나 매우 구조화된 데이터임을 시사한다.
• 딥 네트워크 훈련을 위한 표본 복잡도는 내재 차원 증가와 함께 단조적으로 증가하며, 높은 ID와 더 많은 훈련 샘플이 필요함을 보여주는 명확한 상관관계가 있다.
• 외재 차원(예: 픽셀 수)은 일반화 성능에 거의 또는 영향을 미치지 않으며, 내재 차원이 학습 효율성과 강하게 관련되어 있음을 보여준다.
• 합성 데이터 실험에서 내재 차원 추정치는 주입된 노이즈의 차원 증가와 함께 일관되게 증가하였으며, 이는 추정 방법의 신뢰성을 검증한다.
• FONTS 데이터셋에서 각 추가적인 데이터 증강 단계가 내재 차원 추정치를 증가시키며, 표본 복잡도 역시 동일한 경향을 보였다.
• 알려진 잠재 차원(예: 256, 512)을 가진 GAN으로 생성된 데이터는 실제 노이즈 차원에 가까운 내재 차원 추정치를 생성하여 추정 파이프라인의 타당성을 확인하였다.