[논문 리뷰] How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model

Francesco Cagnetta, Leonardo Petrini외 3명|arXiv (Cornell University)|2023. 07. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 4

한 줄 요약

이 논문은 계층적 특징 조합을 통해 복합 데이터를 학습하는 딥 뉴럴 네트워크의 메커니즘을 연구하기 위한 합성 프레임워크인 랜덤 하이어라키 모델(RHM)을 소개한다. 이 모델은 딥 네트워크가 동치의 하위특징에 대해 불변 표현을 학습함으로써 차원의 극복을 달성하고, 표본 복잡도가 P∗ ≈ n_c m^L와 같이 다항식적으로 스케일링됨을 보여주며, 이는 저수준 특징과 클래스 간 상관관계가 탐지 가능해지는 지점과 일치한다.

ABSTRACT

Deep learning algorithms demonstrate a surprising ability to learn high-dimensional tasks from limited examples. This is commonly attributed to the depth of neural networks, enabling them to build a hierarchy of abstract, low-dimensional data representations. However, how many training examples are required to learn such representations remains unknown. To quantitatively study this question, we introduce the Random Hierarchy Model: a family of synthetic tasks inspired by the hierarchical structure of language and images. The model is a classification task where each class corresponds to a group of high-level features, chosen among several equivalent groups associated with the same class. In turn, each feature corresponds to a group of sub-features chosen among several equivalent ones and so on, following a hierarchy of composition rules. We find that deep networks learn the task by developing internal representations invariant to exchanging equivalent groups. Moreover, the number of data required corresponds to the point where correlations between low-level features and classes become detectable. Overall, our results indicate how deep networks overcome the curse of dimensionality by building invariant representations, and provide an estimate of the number of data required to learn a hierarchical task.

연구 동기 및 목표

• 딥 뉴럴 네트워크가 계층적 복합 데이터 구조를 학습하기 위해 필요한 표본 복잡도를 이해한다.
• 기존 방법이 차원의 극복에 시달리는 고차원 입력 공간에서도 딥 네트워크가 왜 잘 일반화되는지 조사한다.
• 계층적 특징 조합과 동치의 하위특징에 대한 불변성의 역할이 효율적 학습을 어떻게 가능하게 하는지 특성화한다.
• 딥 네트워크의 표본 복잡도가 저수준 특징과 클래스 레이블 간의 상관관계가 탐지 가능해지는 지점과 일치하는지 확인한다.

제안 방법

• 계층적 특징 조합: 클래스 → 고수준 특징 → 하위특징 → 저수준 특징을 가지며, 각 수준에서 m개의 동치 표현을 가진 합성 분류 작업인 랜덤 하이어라키 모델(RHM)을 제안한다.
• 동치의 하위특징을 고수준 특징에 무작위로 할당하여 구조적 무작위성을 모델링하면서도 복합성 계층을 유지한다.
• RHM 데이터에서 딥 뉴럴 네트워크(CNN 및 MLP)와 커널 방법(NTK)을 훈련시켜 아키텍처 간 일반화 행동을 비교한다.
• 테스트 오차가 급격히 감소하는 훈련 예제 수인 표본 복잡도 P∗를 측정하고, 이와 특징-클래스 상관관계 탐지 가능성과 상관관계를 분석한다.
• 계층별 훈련에서 k-me안 클러스터링과 직교화를 적용하여 내부 표현의 불변성 구조를 분석한다.
• 근접 이웃 거리 측정을 이용해 숨겨진 표현의 유효 차원을 추정하고, 계층 간 차원 감소를 추적한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크를 사용해 계층적 복합 작업을 학습할 때 표본 복잡도 P∗는 얼마인가?
• RQ2 표본 복잡도 P∗가 저수준 특징과 클래스 레이블 간 상관관계가 통계적으로 탐지 가능해지는 지점과 일치하는가?
• RQ3 동치의 하위특징에 대한 네트워크의 불변 표현 학습 능력이 표본 효율성과 어떻게 관련되는가?
• RQ4 왜 딥 네트워크가 얕은 네트워크와 커널 방법보다 계층적 작업을 더 잘 학습하는가?
• RQ5 깊이와 아키텍처(CNN 대비 MLP 대비 커널)는 표본 복잡도와 일반화 행동에 어떻게 영향을 미치는가?

주요 결과

• 표본 복잡도 P∗는 P∗ ≈ n_c m^L와 같이 다항식적으로 스케일링되며, 여기서 n_c는 클래스 수, m는 동치의 하위특징 수, L은 계층 깊이이다.
• P∗는 저수준 특징과 클래스 레이블 간 상관관계가 통계적으로 탐지 가능해지는 훈련 예제 수와 일치한다.
• 딥 네트워크는 동치의 하위특징 간 교환에 대해 불변인 내부 표현을 학습하며, 이는 차원 감소와 효율적 학습을 가능하게 한다.
• 누르기 모드(NTK)에서는 커널 방법이 차원의 극복에 시달리며, 특징 학습 딥 네트워크와 달리 0 오차로 수렴하지 않는다.
• 클러스터링과 직교화를 적용한 계층별 훈련은 종단 간 훈련보다 √v의 성능 향상을 보이며, 이는 계층적 불변성이 표본 효율성의 핵심임을 시사한다.
• 내부 표현의 유효 차원은 계층을 거치며 단조롭게 감소하며, 이는 딥 네트워크가 효과적인 입력 차원을 감소시킴을 확인한다.