[論文レビュー] How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model

Francesco Cagnetta, Leonardo Petrini+3 more|arXiv (Cornell University)|Jul 5, 2023

Domain Adaptation and Few-Shot Learning参考文献 56被引用数 4

ひとこと要約

本稿では、階層的特徴合成を通じて深層ニューラルネットワークが構成的データをどのように学習するかを研究するための合成フレームワーク、ランダムハイアラルキー・モデル（RHM）を導入する。深層ネットワークが同値の部分特徴に対して不変な表現を学習することによって次元の呪いを克服し、サンプル複雑性が P∗ ≈ n_c m^L と多項式的にスケーリングされることを示しており、これは低レベル特徴とクラスラベルの間の相関が検出可能になる点と一致する。

ABSTRACT

Deep learning algorithms demonstrate a surprising ability to learn high-dimensional tasks from limited examples. This is commonly attributed to the depth of neural networks, enabling them to build a hierarchy of abstract, low-dimensional data representations. However, how many training examples are required to learn such representations remains unknown. To quantitatively study this question, we introduce the Random Hierarchy Model: a family of synthetic tasks inspired by the hierarchical structure of language and images. The model is a classification task where each class corresponds to a group of high-level features, chosen among several equivalent groups associated with the same class. In turn, each feature corresponds to a group of sub-features chosen among several equivalent ones and so on, following a hierarchy of composition rules. We find that deep networks learn the task by developing internal representations invariant to exchanging equivalent groups. Moreover, the number of data required corresponds to the point where correlations between low-level features and classes become detectable. Overall, our results indicate how deep networks overcome the curse of dimensionality by building invariant representations, and provide an estimate of the number of data required to learn a hierarchical task.

研究の動機と目的

• 深層ニューラルネットワークが階層的・構成的データ構造を学習するために必要なサンプル複雑性を理解すること。
• 高次元入力空間においても、従来の手法が次元の呪いに直面する中で、なぜ深層ネットワークが良好に一般化するのかを調査すること。
• 階層的特徴合成と同値部分特徴に対する不変性が、効率的学習を可能にする役割を特定すること。
• 深層ネットワークのサンプル複雑性が、低レベル特徴とクラスラベルの間の相関が検出可能になるタイミングと一致するかどうかを特定すること。

提案手法

• 階層的特徴合成（クラス → 高レベル特徴 → 部分特徴 → 低レベル特徴）を持つ合成分類タスクとして、ランダムハイアラルキー・モデル（RHM）を提案。各レベルに m 個の同値表現を有する。
• 同値部分特徴を高レベル特徴にランダムに割り当てることで、構造的ランダムネスをモデル化しつつも、構成的階層を保持する。
• RHMデータ上で深層ニューラルネットワーク（CNNおよびMLP）とカーネル法（NTK）を訓練し、アーキテクチャ間での一般化行動を比較する。
• テスト誤差が顕著に低下する訓練例数としてサンプル複雑性 P∗ を測定し、特徴-クラス相関の検出可能性と相関付ける。
• 層別訓練における k-平均クラスタリングと直交化を適用し、内部表現の不変性を分析する。
• 最近接近傍距離を用いて有効次元を推定し、層間における次元削減を追跡する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを用いて階層的・構成的タスクを学習する際のサンプル複雑性 P∗ は何か？
• RQ2 サンプル複雑性 P∗ は、低レベル特徴とクラスラベルの間の相関が統計的に検出可能になる点と一致するか？
• RQ3 同値部分特徴に対するネットワークの不変表現学習能力は、サンプル効率にどのように関連するか？
• RQ4 なぜ深層ネットワークは、浅層ネットワークやカーネル法よりも階層的タスクを学習する際に優れているのか？
• RQ5 深さおよびアーキテクチャ（CNN 対 MLP 対 カーネル）は、サンプル複雑性および一般化行動にどのように影響するか？

主な発見

• サンプル複雑性 P∗ は P∗ ≈ n_c m^L と多項式的にスケーリングされ、n_c はクラス数、m は同値部分特徴数、L は階層深さを表す。
• P∗ は、低レベル特徴とクラスラベルの間の相関が統計的に検出可能になる訓練例数と一致する。
• 深層ネットワークは、同値部分特徴の入れ替えに対して不変な内部表現を学習し、次元削減と効率的学習を可能にする。
• ラージ・レジーム（NTK）では、カーネル法は次元の呪いに苦しんでおり、特徴学習を行う深層ネットワークとは異なり、ゼロ誤差に収束しない。
• クラスタリングと直交化を用いた層別訓練は、エンドツーエンド訓練に比べて √v の利点を示し、階層的不変性がサンプル効率の鍵であることを示唆する。
• 内部表現の有効次元は層を経て単調に減少し、深層ネットワークが有効入力次元を低減していることを確認する。