[논문 리뷰] Eluder Dimension and Generalized Rank.

Gene Li, Pritish Kamath외 2명|arXiv (Cornell University)|2021. 04. 14.

Machine Learning and Algorithms참고 문헌 18인용 수 4

한 줄 요약

이 논문은 단조성 활성화 $σ$와 연관된 일반화된 랭크 개념과 엘루더 차원 사이의 관계를 조사하며, $σ$의 도함수가 0에서 멀리 떨어져 있을 경우 엘루더 차원이 $σ$-랭크보다 지수적으로 작아질 수 있음을 보이고, 반대로 $σ$가 ReLU일 경우 엘루더 차원이 $σ$-랭크보다 지수적으로 클 수 있음을 보여, 도함수 조건이 필수적임을 입증한다.

ABSTRACT

We study the relationship between the eluder dimension for a function class and a generalized notion of rank, defined for any monotone activation $\sigma : \mathbb{R} o \mathbb{R}$, which corresponds to the minimal dimension required to represent the class as a generalized linear model. When $\sigma$ has derivatives bounded away from $0$, it is known that $\sigma$-rank gives rise to an upper bound on eluder dimension for any function class; we show however that eluder dimension can be exponentially smaller than $\sigma$-rank. We also show that the condition on the derivative is necessary; namely, when $\sigma$ is the $\mathrm{relu}$ activation, we show that eluder dimension can be exponentially larger than $\sigma$-rank.

연구 동기 및 목표

• 단조성 활성화 하에서 함수 클래스의 엘루더 차원과 일반화된 랭크 개념 간의 관계를 이해하기 위해.
• $σ$-랭크를 통해 엘루더 차원을 유계화하기 위한 $σ$의 도함수 조건이 필수적인지 확인하기 위해.
• 특히 ReLU와 같은 활성화 함수의 선택이 엘루더 차원과 $σ$-랭크의 상대적 크기에 미치는 영향을 분석하기 위해.
• 다양한 활성화 조건 하에서 엘루더 차원과 $σ$-랭크 사이의 간격에 대한 날것의 경계를 설정하기 위해.

제안 방법

• 단조성 활성화 $σ$ 하에서 함수 클래스를 일반화된 선형 모델로 표현하기 위해 필요한 최소 차원을 기반으로, 일반화된 랭크 개념인 $σ$-랭크를 정의한다.
• 도함수가 0에서 멀리 떨어져 있을 경우, $σ$-랭크가 엘루더 차원을 상한으로 제공함을 입증한다.
• 엘루더 차원이 $σ$-랭크보다 지수적으로 작은 명시적 함수 클래스를 구성하여 상한의 날것임을 입증한다.
• ReLU 활성화 함수에 대해 엘루더 차원이 $σ$-랭크보다 지수적으로 클 수 있음을 보여주는 구성법을 제시하여 도함수 조건의 필수성을 입증한다.
• 단조성 활성화의 구조적 성질과 함수 클래스 표현 방식을 활용하여 지수적 분리 현상을 유도한다.

실험 결과

연구 질문

• RQ1 단조성 활성화 $σ$에 대해 함수 클래스의 엘루더 차원은 그 $σ$-랭크와 어떻게 관련이 있는가?
• RQ2 도함수가 0으로 수렴하지 않는 활성화 함수에 대해, $σ$-랭크에 의한 엘루더 차원 상한이 지수적으로 느슨할 수 있는가?
• RQ3 $σ$-랭크가 엘루더 차원을 상한으로 제공하기 위해 $σ'$가 0에서 멀리 떨어져 있어야 하는 조건이 필수적인가?
• RQ4 ReLU 활성화 함수는 도메인의 절반에서 도함수가 0이 되므로, 이 경우 엘루더 차원과 $σ$-랭크 사이의 관계는 어떻게 되는가?

주요 결과

• 도함수가 0에서 멀리 떨어져 있을 경우, $σ$-랭크는 엘루더 차원을 상한으로 제공한다.
• 엘루더 차원이 $σ$-랭크보다 지수적으로 작은 함수 클래스가 존재하므로, 상한이 항상 날것이 아니라는 점을 보여준다.
• ReLU 활성화 함수의 경우, 엘루더 차원이 $σ$-랭크보다 지수적으로 클 수 있음을 보여, 도함수 조건이 상한을 확보하기 위해 필수적임을 입증한다.
• 양방향으로 지수적 분리가 발생함으로써, 활성화 함수에 따라 엘루더 차원과 $σ$-랭크 사이의 관계에 근본적인 비대칭성이 존재함을 드러낸다.