[논문 리뷰] Synergy and Symmetry in Deep Learning: Interactions between the Data, Model, and Inference Algorithm

Lechao Xiao, Jeffrey Pennington|arXiv (Cornell University)|2022. 07. 11.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 데이터, 모델, 추론 알고리즘 간의 상호작용—특히 대칭성 호환성에 의해—딥러닝이 차원의 극복을 가능하게 한다고 밝힌다. 대칭성이 데이터, 모델, 최적화 알고리즘에 일치할 경우 학습 효율성이 향상되며, 이는 데이터 증가에 따라 모델의 일반화 능력이 향상되는 데이터가 데이터 효율성을 향상시키는(DIDE) 효과를 드러낸다.

ABSTRACT

Although learning in high dimensions is commonly believed to suffer from the curse of dimensionality, modern machine learning methods often exhibit an astonishing power to tackle a wide range of challenging real-world learning problems without using abundant amounts of data. How exactly these methods break this curse remains a fundamental open question in the theory of deep learning. While previous efforts have investigated this question by studying the data (D), model (M), and inference algorithm (I) as independent modules, in this paper, we analyze the triplet (D, M, I) as an integrated system and identify important synergies that help mitigate the curse of dimensionality. We first study the basic symmetries associated with various learning algorithms (M, I), focusing on four prototypical architectures in deep learning: fully-connected networks (FCN), locally-connected networks (LCN), and convolutional networks with and without pooling (GAP/VEC). We find that learning is most efficient when these symmetries are compatible with those of the data distribution and that performance significantly deteriorates when any member of the (D, M, I) triplet is inconsistent or suboptimal.

연구 동기 및 목표

• 고차원 입력 차원으로 인해 현대 딥러닝 시스템이 어떻게 차원의 극복을 극복하는지 이해하기.
• 학습 효율성의 통합 원리로서 데이터, 모델 아키텍처, 추론 알고리즘의 대칭성 역할을 조사하기.
• 샘플 복잡도를 완화하는 데 있어 데이터 분포, 모델의 인덕티브 바이어스, 최적화 역학 간의 상호작용 분석하기.
• 학습 데이터가 증가할수록 학습 효율성이 향상되는 조건을 규명하고, 고전적 통계학적 학습 경계에 도전하기.

제안 방법

• 완전히 연결된 네트워크(FCN), 局부적으로 연결된 네트워크(LCN), 벡터화된(VIC) 및 글로벌 평균 풀링(GAP) 읽기 방식을 갖춘 컨볼루션 네트워크를 포함한 네 가지 대표적인 딥러닝 아키텍처 분석.
• 무한한 너비 근사에서 모델과 추론 알고리즘의 대칭성을 분석하여, 인덕티브 바이어스에 대한 이론적 분석이 가능하도록 함.
• 데이터 분포의 대칭성(예: O(3)^d 회전 대칭성), 모델의 대칭성, 최적화에 의해 유도되는 인덕티브 바이어스 간의 일관성 평가를 위한 대칭 기반 프레임워크 도입.
• 예를 들어 ImageNet 입력을 회전시키는 등의 대칭성 깨짐 편향 하에서 학습 곡선을 실증적으로 평가하여 데이터 효율성 측정 및 기능 클래스 전이 감지.
• 훈련 데이터 증가에 따라 스케일링 법칙 기울기(α)의 변화를 측정하여 DIDE(Data Improves Data Efficiency) 효과 정량화.
• 허위 대칭성(예: O(3)^d 또는 O(3d))를 극복하기 위해 필요한 훈련 샘플 수를 추정하기 위해 차원 수 계산 사용.

실험 결과

연구 질문

• RQ1 데이터, 모델, 추론 알고리즘의 대칭성이 고차원 딥러닝에서 학습 효율성에 어떻게 공동으로 영향을 미치는가?
• RQ2 훈련 데이터를 늘일 경우 어떤 조건에서 학습 효율성이 향상되며, 그 이유는 무엇인가?
• RQ3 데이터 분포와 모델 아키텍처 간의 대칭성 호환성이 일반화에 어떤 역할을 하는가?
• RQ4 딥러닝 시스템은 O(3)^d와 같은 허위 대칭성을 극복할 수 있는가? 만약 가능하다면, 이를 극복하기 위해 얼마나 많은 샘플이 필요한가?
• RQ5 SGD의 암묵적 편향이 모델 및 데이터 대칭성과 어떻게 상호작용하여 일반화 성능을 형성하는가?

주요 결과

• 최적의 학습 시스템(ResNet101, ImageNet, SGD)은 α ≈ 0.41의 거듭제곱 법칙 스케일링을 보이며, 높은 데이터 효율성을 나타낸다.
• 데이터 대칭성이 깨질 경우(예: O(3)^d로 회전된 ImageNet), 학습 곡선에서 약 2×10⁵개 샘플 지점에서 쿠스프(cusp)가 나타나며, 그 이후에 기울기 α ≈ 0.49로 상당한 스케일링 기울기 향상이 관찰된다.
• ResNet101 및 Mixer와 같은 모델은 쿠스프 이후 두 번째 단계에서 각각 α ≈ 0.49 및 0.38를 기록하며 최적 기준선 성능에 가까워진다.
• O(3)^d로 회전된 ImageNet에서 훈련할 경우 ResNet 가족은 상위-1 정확도 격차를 ResNet-18의 약 10%에서 ResNet-200의 약 6%로 줄여 대칭성 깨짐에 대한 강건성을 향상시킨다.
• EfficientNet 가족은 동일한 회전 조건 하에서 B0의 약 4%에서 B7의 약 1%로 정확도 격차를 줄여, 더 넓고 깊은 모델이 허위 대칭성을 더 잘 극복함을 보여준다.
• O(3)^d 대칭성을 극복하기 위해 필요한 샘플 수는 약 10¹⁰로 추정되며, 이는 대칭군의 차원 수 계산과 일치한다.