[論文レビュー] Eluder Dimension and Generalized Rank.

Gene Li, Pritish Kamath+2 more|arXiv (Cornell University)|Apr 14, 2021

Machine Learning and Algorithms参考文献 18被引用数 4

ひとこと要約

本稿では、単調な活性化関数 $σ$ に関連する一般化されたランクの概念である $σ$-ランクとエルダー次元の関係を調査し、$σ$ の導関数が 0 から離れている場合、エルダー次元は $σ$-ランクよりも指数的に小さくなる可能性がある一方、ReLU のような場合、逆に指数的に大きくなる可能性があることを示しており、導関数の条件が必要不可欠であることを示している。

ABSTRACT

We study the relationship between the eluder dimension for a function class and a generalized notion of rank, defined for any monotone activation $\sigma : \mathbb{R} o \mathbb{R}$, which corresponds to the minimal dimension required to represent the class as a generalized linear model. When $\sigma$ has derivatives bounded away from $0$, it is known that $\sigma$-rank gives rise to an upper bound on eluder dimension for any function class; we show however that eluder dimension can be exponentially smaller than $\sigma$-rank. We also show that the condition on the derivative is necessary; namely, when $\sigma$ is the $\mathrm{relu}$ activation, we show that eluder dimension can be exponentially larger than $\sigma$-rank.

研究の動機と目的

• 単調な活性化関数の下での関数クラスのエルダー次元と一般化されたランク概念の関係を理解すること。
• $σ$-ランクによってエルダー次元を上から抑えるために、$σ$ の導関数の条件が必要かどうかを特定すること。
• 特に ReLU のような活性化関数の選択が、エルダー次元と $σ$-ランクの相対的な大きさに与える影響を分析すること。
• 異なる活性化条件の下で、エルダー次元と $σ$-ランクのギャップに対するタイトな境界を確立すること。

提案手法

• 単調な活性化関数 $σ$ の下で、一般化線形モデルとして表現するのに必要な最小次元に基づき、関数クラスの一般化されたランク（$σ$-ランク）を定義する。
• σ が導関数が 0 から離れている場合、$σ$-ランクがエルダー次元を上から抑えることを確立する。
• エルダー次元が $σ$-ランクよりも指数的に小さい関数クラスを明示的に構築し、上界のタイトさを示す。
• ReLU の活性化関数に対して、エルダー次元が $σ$-ランクよりも指数的に大きくなることを示す構成を提供し、導関数の条件の必要性を証明する。
• 単調な活性化関数の構造的性質と関数クラスの表現を用いて、指数的分離を導出する。

実験結果

リサーチクエスチョン

• RQ1 単調な活性化関数 $σ$ に対して、関数クラスのエルダー次元はその $σ$-ランクとどのように関係するか？
• RQ2 導関数が 0 に近づかない活性化関数に対して、$σ$-ランクによるエルダー次元の上界が指数的に緩い可能性はあるか？
• RQ3 $σ$-ランクがエルダー次元を上から抑えるために、$σ'$ が 0 から離れているという条件が必要不可欠であるか？
• RQ4 $σ$ が導関数が定義域の半分で 0 になる ReLU の場合、エルダー次元と $σ$-ランクの関係はどのように変化するか？

主な発見

• σ が導関数が 0 から離れている場合、$σ$-ランクはエルダー次元の上界を提供する。
• エルダー次元が $σ$-ランクよりも指数的に小さい関数クラスが存在し、上界が常にタイトではないことを示している。
• ReLU の活性化関数に対しては、エルダー次元が $σ$-ランクよりも指数的に大きくなる可能性があり、導関数の条件が上界を成立させるために必要不可欠であることを示している。
• 両方向への指数的分離は、活性化関数に依存する、エルダー次元と $σ$-ランクの関係における根本的な非対称性を明らかにしている。