[論文レビュー] Circuit-Based Intrinsic Methods to Detect Overfitting

Satrajit Chatterjee, Alan Mishchenko|arXiv (Cornell University)|Jul 3, 2019

Adversarial Robustness in Machine Learning参考文献 14被引用数 6

ひとこと要約

本稿では、モデルの論理回路表現を通じて訓練例の流れを分析することにより、過学習を検出する内在的メソッドの族である対向シミュレーション（CFS）を提案する。これらの回路内のレアパターンを摂動させることで、ハイパーパramーターやテストデータに依存せずに過学習を特定する。その結果、確率的勾配降下法（SGD）はブルートフォースな記憶を避けて共通パターンを学習することを示し、ランダムフォレストと同様にニューラルネットワークの一般化を説明する。

ABSTRACT

The focus of this paper is on intrinsic methods to detect overfitting. By intrinsic methods, we mean methods that rely only on the model and the training data, as opposed to traditional methods (we call them extrinsic methods) that rely on performance on a test set or on bounds from model complexity. We propose a family of intrinsic methods, called Counterfactual Simulation (CFS), which analyze the flow of training examples through the model by identifying and perturbing rare patterns. By applying CFS to logic circuits we get a method that has no hyper-parameters and works uniformly across different types of models such as neural networks, random forests and lookup tables. Experimentally, CFS can separate models with different levels of overfit using only their logic circuit representations without any access to the high level structure. By comparing lookup tables, neural networks, and random forests using CFS, we get insight into why neural networks generalize. In particular, we find that stochastic gradient descent in neural nets does not lead to "brute force" memorization, but finds common patterns (whether we train with actual or randomized labels), and neural networks are not unlike forests in this regard. Finally, we identify a limitation with our proposal that makes it unsuitable in an adversarial setting, but points the way to future work on robust intrinsic methods.

研究の動機と目的

• テストデータや複雑さの上限に依存せずに、モデルと学習データのみを用いて過学習を検出する内在的メソッドを開発すること。
• 低データ環境や敵対的状況において、ホールアウトデータが損なわれる可能性がある場合の、外在的メソッドの限界を克服すること。
• 高容量を持つにもかかわらずニューラルネットワークが一般化する理由を、内部の信号フローを分析することで解明すること。
• ニューラルネットワーク、ランダムフォレスト、ルックアップテーブルのようなモデルにおいて、記憶行動と一般化行動を区別できるかどうかを検証すること。
• 敵対的ノイズ下での内在的検出のロバストネスを調査し、今後のロバストな内在的メソッドの方向性を同定すること。

提案手法

• CFSは、反事後的シミュレーションを用いてモデルの挙動を分析する：論理回路レベルで小さな局所的ノイズを注入し、出力挙動の変化を観察する。
• この手法は、モデルの論理回路表現に基づいて動作し、重みや層といった高レベルなアーキテクチャを抽象化して、信号レベルのパターンに焦点を当てる。
• 入力パターンのレアリティは、信号またはゲートのファンインレベルで測定される。レアなパターンを摂動させることで感度を評価し、過学習を示す。
• 単純なCFSバージョンはハイパーパramーターや設定を必要とせず、一様にさまざまなモデルタイプに適用可能である。
• 複合的CFSは、信号のグループへのレアリティを拡張し、構造的な信号パターンにおける過学習を検出可能にする。
• グローバルレアリティは、回路全体を伝播する出現回数を用いて定義され、パターンの希少性をより厳密に測定可能となる。

実験結果

リサーチクエスチョン

• RQ1 テストデータやモデルの複雑さの上限が入手不可な状況でも、内在的メソッドが過学習を検出可能か？
• RQ2 ラベルがランダム化された状況下でも、ニューラルネットワークにおける確率的勾配降下法（SGD）はブルートフォースな記憶を避けるのか、それともパターンベースの学習を遂げるのか？
• RQ3 ニューラルネットワーク、ランダムフォレスト、ルックアップテーブルは、標的ノイズやパターンの希少性に対して、それぞれどのように耐性を示すか？
• RQ4 論理回路レベルの解析は、モデルアーキテクチャに依存しない一般化挙動を明らかにできるか？
• RQ5 CFSの限界は敵対的状況で顕在化するが、グローバルレアリティ測定によりこれを克服できるか？

主な発見

• CFSは、モデル構造やテストデータにアクセスせずに、論理回路表現のみを用いてニューラルネットワーク、ランダムフォレスト、ルックアップテーブルにおける過学習を成功裏に検出できた。
• 確率的勾配降下法（SGD）で学習されたニューラルネットワークは、ラベルがランダム化された場合でもブルートフォースな記憶を示さず、パターンベースの学習が行われていることが示された。
• ランダムフォレストはニューラルネットワークと比較して約1,000倍の耐性を示し、信頼性の低いハードウェア環境でも高いロバストネスを示す。
• この手法により、ニューラルネットワークとランダムフォレストの両方が、希少なパターンの記憶ではなく共通パターンの学習をしていることが明らかになった。これは、両者の一般化挙動を説明する要因となった。
• CFSにおけるグローバルレアリティ測定は、ランダムフォレストにおける過学習検出を向上させ、敵対的攻撃に対する耐性を高めうる。
• 付録では、一般化と記憶の両者を統一的に説明する理論「コherentグレディエント（Coherent Gradients）」が提示され、複数の例に共通する勾配成分の共有が一般化に寄与することを示唆している。