[論文レビュー] DeepNNK: Explaining deep models and their generalization using polytope interpolation

Sarath Shekkizhar, Antonio Ortega|arXiv (Cornell University)|Jul 20, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用数 4

ひとこと要約

この論文は、非パラメトリックで幾何的直感に基づくフレームワークであるDeepNNKを紹介する。DeepNNKは、非負のカーネル（NNK）回帰による局所的ポリトープ補間を用いて、深層ニューラルネットワークの解釈を可能にする。k近傍法に基づくアプローチを採用し、データの幾何構造に応じた適応的重み付けを実施することで、インスタンスレベルの解釈可能性を実現する。さらに、交差検証による推定により一般化性能が優れたモデルを特定し、敵対的および生成的例が疎な補間近傍の結果であることを説明する。

ABSTRACT

Modern machine learning systems based on neural networks have shown great success in learning complex data patterns while being able to make good predictions on unseen data points. However, the limited interpretability of these systems hinders further progress and application to several domains in the real world. This predicament is exemplified by time consuming model selection and the difficulties faced in predictive explainability, especially in the presence of adversarial examples. In this paper, we take a step towards better understanding of neural networks by introducing a local polytope interpolation method. The proposed Deep Non Negative Kernel regression (NNK) interpolation framework is non parametric, theoretically simple and geometrically intuitive. We demonstrate instance based explainability for deep learning models and develop a method to identify models with good generalization properties using leave one out estimation. Finally, we draw a rationalization to adversarial and generative examples which are inevitable from an interpolation view of machine learning.

研究の動機と目的

• 深層ニューラルネットワークの解釈性が低いこと、特にモデル選択や予測の解釈可能性に課題があることに対処すること。
• 幾何的直感と理論的保証を組み合わせた実用的な補間フレームワークを開発し、高次元における単体補間の複雑さを回避すること。
• 局所的ポリトープ構造を介して訓練データに遡って予測を追跡することで、インスタンスベースの解釈可能性を実現すること。
• 補間フレームワーク上で交差検証を用いて一般化性能が優れたモデルを特定すること。
• 補間の疎性と不安定性の観点から、敵対的および生成的例を説明すること。

提案手法

• 訓練データから補間近傍を構築するため、非負のカーネル（NNK）回帰に基づく局所的ポリトープ補間手法を提案する。
• k近傍法を出発点としつつ、固定された近傍選択を、情報の多い近傍を優先するデータに適応した幾何的インスパイラションを持つ重みに置き換える。
• 各訓練点を除外した際の予測誤差を測定することで、モデルの一般化性能を評価するための交差検証推定戦略を採用する。
• CIFAR-10でAutoAugmentを用いて訓練されたWide-ResNet-28-10アーキテクチャにNNK補間を統合することで、深層学習モデルにフレームワークを適用する。
• 特定のテストインスタンスにおける近傍重みの変動を測定することで、モデルの脆さを検出するため、補間スプレッド（式14）を用いる。
• 実画像と比較して、敵対的および生成的画像の補間空間内での平均近傍数を比較することで、それらの分析を行う。

実験結果

リサーチクエスチョン

• RQ1 幾何的補間を用いて、深層ニューラルネットワークの予測をインスタンスレベルでどのように解釈できるか？
• RQ2 従来の正則化に依存せずに、補間ベースの手法がモデル一般化に関する理論的・実用的洞察を提供できるか？
• RQ3 なぜ敵対的および生成的例はしばしば一般化に失敗するのか？これは補間行動によって説明可能か？
• RQ4 補間近傍内の近傍数が、モデルの安定性およびデータ分布とどの程度相関するか？
• RQ5 補間フレームワーク上で交差検証推定を用いることで、モデル一般化性能の信頼できる代理指標として機能するか？

主な発見

• DeepNNKは、AutoAugmentを用いたWide-ResNet-28-10を用いてCIFAR-10で97.3%のテスト精度を達成し、元のネットワークと同等の性能を示した。
• 敵対的および生成的画像は、実画像と比較して平均してはるかに少ない補間近傍を示しており、補間空間におけるカバー範囲が疎であることを示している。
• 特定のテストインスタンスにおける近傍重みの変動が著しいことから、フレームワークは脆いモデル予測を特定し、モデルの限界を明らかにした。
• NNK補間フレームワークを用いた交差検証推定は、一般化性能が優れたモデルを的確に特定できた。
• この手法により、敵対的例が、わずか数個の訓練点しか影響しない不安定で低密度の領域における補間から生じることを説明できた。
• 本研究では、生成的および敵対的例がランダムな外れ値ではなく、最小限の訓練データ支援しか得られない領域における補間から生じることを示した。