[論文レビュー] Compositional Generalization from First Principles

Thaddäus Wiedemer, P. Mayilvahanan+2 more|arXiv (Cornell University)|Jul 10, 2023

Geochemistry and Geologic Mapping被引用数 4

ひとこと要約

本稿は、識別可能な要素を有する構成的プロセスとしてのデータ生成をモデル化することにより、機械学習における構成的汎化の形式的枠組みを提案する。訓練分布のサポートおよびモデルアーキテクチャに関する十分条件を導出し、未観測の構成に向けた汎化を保証するものであり、合成実験および理論的分析により検証され、スケーラブルでサンプル効率の良い学習のための原則的基盤を提供する。

ABSTRACT

Leveraging the compositional nature of our world to expedite learning and facilitate generalization is a hallmark of human perception. In machine learning, on the other hand, achieving compositional generalization has proven to be an elusive goal, even for models with explicit compositional priors. To get a better handle on compositional generalization, we here approach it from the bottom up: Inspired by identifiable representation learning, we investigate compositionality as a property of the data-generating process rather than the data itself. This reformulation enables us to derive mild conditions on only the support of the training distribution and the model architecture, which are sufficient for compositional generalization. We further demonstrate how our theoretical framework applies to real-world scenarios and validate our findings empirically. Our results set the stage for a principled theoretical study of compositional generalization.

研究の動機と目的

• 構成的データ構造を有するにもかかわらず、機械学習モデルが構成的に汎化できないという継続的な失敗を解決すること。
• データそのものにおける構成的性質ではなく、データ生成プロセスにおける構成的性質を形式化すること。
• 構成的汎化を保証するための、訓練分布のサポートおよびモデルアーキテクチャに関する最小限の十分条件を導出すること。
• 合成環境におけるアブレーションスタディを含め、理論的枠組みを実証的に検証すること。
• 識別可能な表現学習のための将来の発展に、証明可能な汎化を伴う原則的基盤を提供すること。

提案手法

• 著者らは、既知の成分を既知の合成関数によって組み合わせることでデータが生成される、構成的データ生成プロセスのクラスを定義する。
• データ生成を潜在的要因（例：位置、形状、色）の関数としてモデル化し、合成関数が既知で識別可能であると仮定する。
• 理論的分析により、訓練分布のサポートおよびモデルアーキテクチャに関する十分条件を導出し、未観測の構成への汎化を保証する。
• この枠組みは、訓練分布上で完全な再構成を仮定しており、識別可能な表現学習の原則と整合する。
• 合成画像データセット（2つのスプライト、位置・形状・サイズ・色の変動あり）を用いて、未観測の構成への汎化をテストする。
• アブレーションスタディにより、完全なサポートカバレッジや既知の合成関数といった重要な仮定の必要性を検証する。

Figure 1: Left : We train a model $f$ to reconstruct images containing two sprites given their latent representation (x, y, shape, size, color) . Center : In the training set (top row and left column), one sprite is fixed in its base configuration (orange triangle or red circle), while the other can

実験結果

リサーチクエスチョン

• RQ1 訓練分布およびモデルアーキテクチャにどのような条件下で、既知の成分の未観測な組み合わせに対してモデルが構成的に汎化できるか？
• RQ2 誘導的バイアスや明示的なアーキテクチャ的事前知識に依存せずに、構成的汎化を保証できるか？
• RQ3 既知の合成関数という仮定が、証明可能な汎化の可能性にどのように影響するか？
• RQ4 訓練分布のサポートが、未観測の構成への汎化を可能にする役割を果たすか？
• RQ5 構成的事前知識に依存する実証的手法が、分布カバレッジが不十分であるために汎化に失敗する程度はどの程度か？

主な発見

• 理論的分析により、訓練分布がすべての可能な成分要因の組み合わせをカバーしており、モデルアーキテクチャが十分に表現力を持つ場合、構成的汎化が保証されることが示された。
• 実証的結果は、成分が個別に観測されていても、未観測の構成への汎化に失敗することが確認され、分布的サポートの重要性が浮き彫りになった。
• アブレーションスタディにより、完全なサポートカバレッジが欠落していると、訓練データへの完全なフィットであっても、系統的な汎化失敗が生じることが示された。
• この枠組みは、既知の合成関数が証明可能な汎化を可能にする重要な条件であることを明らかにした。未知または非構造的な構成性は、汎化を損なう要因であると示唆された。
• 現在の実証的手法が汎化に失敗するのは、アーキテクチャ的制限のためではなく、訓練データにおける構成的空間のカバレッジが不十分であるためであると示唆された。

Figure 2: Compositional representation of a function (Definition 1 ). Component functions $\boldsymbol{\varphi}_{k}$ map each component latent $\boldsymbol{z}_{k}$ to an intermediate representation $\boldsymbol{\tilde{x}}_{k}$ . The composition function $\boldsymbol{C}$ composes them into a final da