[論文レビュー] Learning invariances in neural networks

Gregory W. Benton, Marc Finzi+2 more|arXiv (Cornell University)|Jan 1, 2020

Machine Learning in Bioinformatics被引用数 2

ひとこと要約

本論文では、ニューラルネットワークの重みとデータオーグメンテーションの分布のパラメータを同時に最適化することで、データの不変性および等長性を自動で学習する手法を提案する。エンドツーエンドの学習により、モデルは訓練データから直接、正しい対称性群（例えば平行移動、回転、スケーリングなど）とその範囲を同定する。この手法により、画像分類、回帰、セグメンテーション、分子性質予測の各タスクにおける汎化性能が向上する。

ABSTRACT

Invariances to translations have imbued convolutional neural networks with powerful generalization properties. However, we often do not know a priori what invariances are present in the data, or to what extent a model should be invariant to a given symmetry group. We show how to \emph{learn} invariances and equivariances by parameterizing a distribution over augmentations and optimizing the training loss simultaneously with respect to the network parameters and augmentation parameters. With this simple procedure we can recover the correct set and extent of invariances on image classification, regression, segmentation, and molecular property prediction from a large space of augmentations, on training data alone.

研究の動機と目的

• 現実世界のデータにおいて未知または曖昧な不変性（例えば平行移動、回転、スケーリング）に対処するための挑戦に応えること。これらは通常、深層学習において仮定されたり手動で設計されたりする。
• 固定されたオーグメンテーションスキームに依存せず、与えられたタスクに対して正しい不変性のセットとその度合いを自動で同定する手法を開発すること。
• データに内在する対称性と一致する最適なオーグメンテーション分布を学習することで、モデルの汎化性能を向上させること。
• 多様なタスクに適用可能な、微分可能なフレームワーク内で不変性と等長性の学習を統一的に扱うこと。

提案手法

• 平行移動範囲、回転角度、スケーリング要因などの学習可能なパラメータを用いて、データオーグメンテーションの分布をパrameterizeすること。
• オーグメンテーションのサンプリングプロセスを微分可能にすることで、この分布を訓練プロセスに統合すること。
• バックプロパゲーションを用いて、ネットワーク重みとオーグメンテーションパラメータの両方に関して訓練損失を同時に最適化すること。
• 訓練中にモンテカルロサンプリングを用いて、学習済みオーグメンテーション分布上の期待損失を推定すること。
• 画像分類、回帰、セマンティックセグメンテーション、分子性質予測など、複数のタスクにこのフレームワークを適用すること。
• 対称性群やその範囲に関する事前知識が不要なエンドツーエンドの不変性学習を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、データに存在する正しい不変性群（例：平行移動、回転）を自動で同定できるか？
• RQ2 ある対称性に対して、モデルがどの程度不変であるべきか。これはデータから学習可能か？
• RQ3 オーグメンテーションとモデルパラメータを同時に学習することで、固定されたオーグメンテーションスキームに比べて汎化性能が向上するか？
• RQ4 構造的予測タスクにおいて、不変性に加えて等長性のパターンも同定できるか？

主な発見

• 本手法は、多数の候補となるオーグメンテーションの中から、画像分類およびセグメンテーションタスクで正しい不変性構造（例：平行移動、回転）を的確に回復した。
• 標準的な固定オーグメンテーションよりも、学習済みオーグメンテーション分布がより良い一般化性能を示し、ロバストネスとテスト精度が向上した。
• 手動での指定が不要な状態で、適切な回転範囲などの意味のある不変性の度合いを同定できた。
• 分子幾何学的不変性を学習することで、分子性質予測タスクにおける性能が向上した。