[論文レビュー] Meta-Learning Symmetries by Reparameterization

Allan Zhou, Tom Knowles+1 more|arXiv (Cornell University)|Jul 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 24

ひとこと要約

本論文は、層の重みを再パrameter化することで、ニューラルネットワーク内の不変性誘導パラメータ共有パターンを自動で発見・符号化するメタラーニングフレームワークを提案する。データからこれらのパターンを学習することで、画像ベンチマークにおいて最先端の少サンプル一般化性能を達成し、標準的なメタラーニング手法や手作業で設計された不変性アーキテクチャを上回る。

ABSTRACT

Many successful deep learning architectures are equivariant to certain transformations in order to conserve parameters and improve generalization: most famously, convolution layers are equivariant to shifts of the input. This approach only works when practitioners know the symmetries of the task and can manually construct an architecture with the corresponding equivariances. Our goal is an approach for learning equivariances from data, without needing to design custom task-specific architectures. We present a method for learning and encoding equivariances into networks by learning corresponding parameter sharing patterns from data. Our method can provably represent equivariance-inducing parameter sharing for any finite group of symmetry transformations. Our experiments suggest that it can automatically learn to encode equivariances to common transformations used in image processing tasks. We provide our experiment code at https://github.com/AllanYangZhou/metalearning-symmetries.

研究の動機と目的

• 各タスクに対して手作業でのアーキテクチャ設計を必要とせずに、深層学習モデルにおける不変性の自動発見を実現すること。
• 畳み込みニューラルネットワーク（CNN）がもつ固定されたインダクティブバイアスの制限を克服すること。CNNは、並進、回転、反転などの対称性に関する事前知識に依存している。
• データからパラメータ共有パターンを学習することで、タスクに依存しない転送可能な不変性を実現すること。ハードコードされた不変性ではなく、学習によって得られるものである。
• メタラーニングを用いて、対称性をネットワークの重み構造に直接組み込むことで、少サンプル一般化性能を向上させること。
• 再パラメータ化を用いて、任意の有限対称性群に対する不変性をスケーラブルかつ理論的に裏付けられた方法で学習する。

提案手法

• 層の重みを再パラメータ化し、パラメータ共有パターンを学習可能な構造として表現することで、モデルが不変性誘導重み共有を発見できるようにする。
• メタラーニングを用いて、タスクの分布上で再パラメータ化された層を訓練し、未観測のタスクに対しても一般化性能が最適化されるようにする。
• パラメータ共有パターンを、入力空間における対称性群の作用を尊重する構造的重み行列として定式化する。
• 群表現論からの理論的結果を活用し、再パラメータ化された層が任意の有限群に対して不変変換を明示的に表現できることを保証する。
• メタトレーニング中にデータ拡張を統合し、回転、反転、スケーリングなどの一般的な変換に対して不変性を促進する。
• 多様なタスクにわたる一般化誤差を最小化するメタラーニング目的関数を用いてモデルを訓練する。その際、対称性に配慮した重み共有が主要なインダクティブバイアスとして機能する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、アーキテクチャ上の前提知識がなくても、データから一般的なデータ変換（例：回転、反転、スケーリング）の不変性を自動で学習・符号化できるか？
• RQ2 メタラーニングを用いてパラメータ共有パターンを学習することは、標準的なメタラーニングやデータ拡張単体よりも、より優れた少サンプル一般化性能をもたらすか？
• RQ3 提案手法は、データとメタラーニングからのみ、既知の不変性アーキテクチャ（例：回転不変畳み込み）を再構築できるか？
• RQ4 対称性群の複雑さやデータ拡張戦略の複雑さが増加するにつれて、この手法の性能はどのように変化するか？
• RQ5 対称性が事前に明示的に知られていない状況でも、学習済みの不変性を保持することで、新しいタスクに一般化できるか？

主な発見

• 提案手法である MSR（Meta-learned Symmetry Reparameterization）は、Aug-Omniglot および Aug-MiniImageNet ベンチマークの両方で最先端の性能を達成し、MAML、ANIL、ProtoNets に加え、手作業で設計された D8 不変モデルをも上回った。
• 5-way 1-shot 少サンプル分類タスクにおいて、MSR は Aug-Omniglot で 95.3% の精度を達成し、Aug-MiniImageNet では 45.5% を記録。MAML（89.3%）や MAML+D8（94.6%）を上回った。
• MSR はより大きな MAML モデル（MAML Big）よりも一般化性能に優れており、総パラメータ数が少ないにもかかわらず高い精度を達成した。これは、より優れたサンプル効率を示している。
• 本手法は、標準アーキテクチャに明示的に組み込まれていない回転、反転、スケーリングなどの対称性を効果的に学習して符号化できた。
• MSR はより困難な Aug-MiniImageNet ベンチマークにおいて、ProtoNets を上回った。これは、不変構造を学習することが、不変メトリクス空間を学習するのよりも効果的であることを示唆している。
• 再パラメータ化機構により、タスク間で転送可能な対称性が実現され、学習済みの不変性が保持され、低データ環境下での一般化性能が向上した。