[論文レビュー] In What Ways Are Deep Neural Networks Invariant and How Should We Measure This?

Henry Kvinge, Tegan Emerson+4 more|arXiv (Cornell University)|Oct 7, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、G-empirical equivariance deviation (G-EED) を導入し、深層ニューラルネットワークにおける不変性と等変性を直接測定する群論的メトリクスの族を提示する。データオーグメンテーションが、学習された等変性層とは異なるメカニズムを通じて不変性を誘導すること、不変性がモデル性能と常に相関しないこと（事前学習済みモデルはランダム初期化モデルと異なる不変性特性を示す）が明らかになった。

ABSTRACT

It is often said that a deep learning model is "invariant" to some specific type of transformation. However, what is meant by this statement strongly depends on the context in which it is made. In this paper we explore the nature of invariance and equivariance of deep learning models with the goal of better understanding the ways in which they actually capture these concepts on a formal level. We introduce a family of invariance and equivariance metrics that allows us to quantify these properties in a way that disentangles them from other metrics such as loss or accuracy. We use our metrics to better understand the two most popular methods used to build invariance into networks: data augmentation and equivariant layers. We draw a range of conclusions about invariance and equivariance in deep learning models, ranging from whether initializing a model with pretrained weights has an effect on a trained model's invariance, to the extent to which invariance learned via training can generalize to out-of-distribution data.

研究の動機と目的

• 深層学習モデルにおける不変性と等変性の直接的かつ形式的な測定の欠如に応えること。これらは一般的に精度や損失を介して間接的に評価される。
• 反射や回転などの既知の対称性群の下で、深層ニューラルネットワークが不変性と等変性をどのように達成するかを形式化・定量すること。
• 一般的に用いられる手法（データオーグメンテーションと等変性アーキテクチャ）が、実際に実用的に望ましい不変性・等変性特性を誘導しているかどうかを調査すること。
• モデル初期化（ランダム vs. 事前学習重み）と学習パラダイム（教師あり vs. 自己教師あり）が、学習された不変性・等変性に与える影響を検討すること。
• 学習された不変性が、画像の汚染やドメインシフトを含む分布外データにどの程度一般化されるかを評価すること。

提案手法

• 群論的原則に基づくG-EEDというメトリクス族を提案し、対称性群Gの下でモデル出力のG-等変性またはG-不変性からの逸脱を定量化する。
• ユークリッド距離やコサイン類似度などの距離測度を用いて、最終出力と中間の潜在表現の両方に対してG-EEDを適用する。
• ニューラルネットワークの異なる部品（特徴マップや最終予測など）に対してG-EEDを計算可能な柔軟なフレームワークを採用する。
• G-EEDを用いて、データオーグメンテーション、等変性層、自己教師ありコントラスト学習損失で訓練されたモデルを比較し、不変性特性を直接比較可能にする。
• 統計的妥当性を確保するため、信頼区間と複数のランダムシードを用いて、異なるモデルバージョンにおける不変性評価を実施する。
• G-EEDを分布内および分布外データ（ImageNetの汚染画像やドメインシフト画像を含む）に適用し、不変性の一般化を評価する。

実験結果

リサーチクエスチョン

• RQ1 データオーグメンテーションは、深層ニューラルネットワークにおいて真のG-等変性またはG-不変性をどの程度誘導するのか。これは、学習された等変性層によるものなのか、それとも他のメカニズムによるものなのか。
• RQ2 事前学習重みで初期化されたモデルは、ランダム初期化モデルと比較して、不変性および等変性特性でどのように異なるのか。
• RQ3 自己教師あり学習（特にコントラスト損失を用いる場合）は、教師あり学習よりも強い不変性をもたらすのか。
• RQ4 訓練によって学習された不変性は、画像の汚染やドメインシフト画像などの分布外データにどの程度一般化されるのか。
• RQ5 モデルの精度や損失とは独立して不変性を意味的に測定可能なのか。また、高い不変性は、より良い性能と相関するのか。

主な発見

• データオーグメンテーションによる訓練は、主に学習された等変性層を通じて不変性を誘導するのではなく、より透明性に欠ける他のメカニズムを通じて不変性が生じる。
• データオーグメンテーションによって学習された不変性は、一般的な画像汚染に対してはやや一般化されるが、極端な分布外シフトでは偽の不変性である可能性があり、真の不変性ではなくモデルの感度低下によるものである可能性がある。
• ランダム重みを初期化したモデルは、学習済みまたはハードコードされた不変性を持つモデルよりも数学的により不変であることがある。これは、不変性と性能の相関があるという仮定に疑問を呈する。
• 事前学習重みで初期化されたモデルは、ランダム初期化モデルとは異なる不変性・等変性特性を示し、不変性の程度は距離測度の選択に依存する。
• コントラスト損失（例：SimCLR）を用いて訓練された自己教師ありモデルは、DINOなどのそれらと比較して顕著に高い不変性を示す。これは、コントラスト的目標が不変性を直接促進していることを示唆する。
• 潜在空間におけるG-EEDの分析から、SimCLRはテストされたモデルの中で最高の不変性を達成していることが判明。DINOや教師ありモデルは、距離測度の選択に応じて中程度のレベルの不変性を示す。