[論文レビュー] Is a Modular Architecture Enough?

Sarthak Mittal, Yoshua Bengio+1 more|arXiv (Cornell University)|Jun 6, 2022

Machine Learning in Materials Science被引用数 15

ひとこと要約

この論文は、一般化、特化、分布外性能を評価するために、合成的で規則に基づくデータ分布を用いてモジュラーニューラルアーキテクチャを評価する。多くの基本的な規則が存在する場合、モジュラリティが性能を顕著に向上させるが、標準的なモジュラーシステムは最適でない特化と注目メカニズムの集中により、しばしば性能を発揮しない。これは、モジュラリティそのもの以上の強いインダクティブバイアスの必要性を示唆する。

ABSTRACT

Inspired from human cognition, machine learning systems are gradually revealing advantages of sparser and more modular architectures. Recent work demonstrates that not only do some modular architectures generalize well, but they also lead to better out-of-distribution generalization, scaling properties, learning speed, and interpretability. A key intuition behind the success of such systems is that the data generating system for most real-world settings is considered to consist of sparsely interacting parts, and endowing models with similar inductive biases will be helpful. However, the field has been lacking in a rigorous quantitative assessment of such systems because these real-world data distributions are complex and unknown. In this work, we provide a thorough assessment of common modular architectures, through the lens of simple and known modular data distributions. We highlight the benefits of modularity and sparsity and reveal insights on the challenges faced while optimizing modular systems. In doing so, we propose evaluation metrics that highlight the benefits of modularity, the regimes in which these benefits are substantial, as well as the sub-optimality of current end-to-end learned modular systems as opposed to their claimed potential.

研究の動機と目的

• 制御された、既知のデータ生成分布下でのモジュラーアーキテクチャの有効性を厳密に評価すること。
• 最適化のしやすさやアーキテクチャ的テクニックといった要因とは独立して、モジュラリティとスパarsityの影響を隔離すること。
• 新しい原理的評価指標を用いて、モジュラーシステムにおける特化と崩壊の度合いを定量化すること。
• モジュラリティの主張される利点と、現在のエンドツーエンド学習されたモジュラーシステムにおける実際の性能との間のギャップを特定すること。

提案手法

• 確率的選択された規則に基づく合成ベンチマークタスクを設計し、モジュラーなデータ生成プロセスを模擬する。
• 4種類のモデルタイプ（モノリシック、モジュラー、モジュラー-OP、真のモジュラー）を用いてモジュラリティを評価するフレームワークを導入する。
• 特化（モジュールが特定の規則にどれほど集中しているか）と崩壊（モジュールが共有された行動に退化する度合い）を定量化する指標を採用する。
• 規則の数、シーケンス長、データ分布のシフト（分布内 vs. 分布外）の変動に応じてモデルを訓練・評価する。
• RNNおよびフィードフォワードネットワークに注目メカニズムやスパース接続を適用し、異なるアーキテクチャ的インダクティブバイアスをテストする。
• 個々のトークンのサンプリング（変更済み vs. 同じ）を用いて、分布シフトに対するロバストネスを調査する。

実験結果

リサーチクエスチョン

• RQ1 既知の規則ベースのデータ分布下で、ニューラルネットワークにおけるモジュラリティが一般化と特化をどの程度向上させるか？
• RQ2 タスクに内在する規則の数が増えると性能はどのように変化するか？また、モジュラリティが最も効果を発揮するのはどのような状況か？
• RQ3 アーキテクチャ的主張とは裏腹に、なぜ現在のモジュラーシステムは特化の潜在能力を十分に発揮できないのか？
• RQ4 注目、スパarsity、ルーティングなどの異なるインダクティブバイアスは、モジュールの特化と崩壊にどのように影響するか？
• RQ5 モジュラーシステムにおける特化と崩壊の度合いを信頼性高く定量化できる指標は何か？

主な発見

• タスクに多数の基本的規則が存在する場合、特化は顕著な性能向上をもたらすが、規則が少数の場合はほとんど利益がない。
• 標準的なモジュラーシステムは、注目メカニズムの集中が不十分で、特化が限定的であるため、しばしば性能を発揮しない。これは、規則固有の計算に適した能力が不十分であることを示唆する。
• モジュラーとモノリシックモデルの性能差は、規則の数が増えるにつれて拡大する。これは、複雑なタスクにおいてモジュラリティのスケーラビリティ優位性が顕著に現れることを示している。
• モジュールが特化に失敗し、代わりに共有された計算に退化する「崩壊」は、依然として主要な失敗モードであり、特に規則数が少ない状況で顕著である。
• 現在のエンドツーエンド学習されたモジュラーシステムは、理論的潜在能力に比べて不十分である。これは、モジュラリティそのもの以上の強いインダクティブバイアスの必要性を示唆する。
• 提案された評価指標は、真の特化と単なるアーキテクチャ的利点を効果的に区別でき、今後のモジュラーアーキテクチャ研究の信頼性あるベンチマークを提供する。