[論文レビュー] Analyzing and Improving Representations with the Soft Nearest Neighbor Loss

Nicholas Frosst, Nicolas Papernot+1 more|arXiv (Cornell University)|Feb 5, 2019

Adversarial Robustness in Machine Learning参考文献 20被引用数 55

ひとこと要約

本論文はソフト最近傍損失を拡張してクラス多様体の絡み合いを測定し、それを正則化項として一般化性能と不確実性の較正を改善し、識別モデルと生成モデルにおける表現を分析する。

ABSTRACT

We explore and expand the $\ extit{Soft Nearest Neighbor Loss}$ to measure the $\ extit{entanglement}$ of class manifolds in representation space: i.e., how close pairs of points from the same class are relative to pairs of points from different classes. We demonstrate several use cases of the loss. As an analytical tool, it provides insights into the evolution of class similarity structures during learning. Surprisingly, we find that $\ extit{maximizing}$ the entanglement of representations of different classes in the hidden layers is beneficial for discrimination in the final layer, possibly because it encourages representations to identify class-independent similarity structures. Maximizing the soft nearest neighbor loss in the hidden layers leads not only to improved generalization but also to better-calibrated estimates of uncertainty on outlier data. Data that is not from the training distribution can be recognized by observing that in the hidden layers, it has fewer than the normal number of neighbors from the predicted class.

研究の動機と目的

• 学習中の表現におけるクラス類似性構造をソフト最近傍損失で特徴付ける。
• エンタングルメント表現が識別、正則化、および生成モデリングに与える影響を調査する。
• 隠れ層でのエンタングルメントを最大化することが一般化と不確実性の較正を改善することを示す。
• 分布外データおよび対向データ処理のためのエンタングルメント表現を評価する。

提案手法

• 表現空間の絡み合いを測定するために温度パラメータを用いてソフト最近傍損失を定義・拡張する（式1）。
• エンタングルメント損失を得るための温度最小化アプローチを導入する（式2）。
• エンタングルメント損失をクロスエントロピーの正則化項として追加する複合的な訓練目的を提案する（式3）。
• 識別訓練中のネットワーク層間でのエンタングルメントダイナミクスを分析する（例：CIFAR‑10上のResNet）。
• 実データと合成データのエンタングルメントを測定・影響を与えるために生成モデル（GANs）にこの損失を適用する。
• エンタングルメントモデルと非エンタングルメントモデルを比較してDeep k-最近傍（DkNN）による不確実性の較正を評価する。

実験結果

リサーチクエスチョン

• RQ1 ソフト最近傍損失は表現空間におけるクラス多様体のエンタングルメントをどのように定量化するのか？
• RQ2 隠れ層のエンタングルメントを最大化することは訓練を正則化し一般化を改善できるのか？
• RQ3 エンタングルメントは分布外データや対向データに対する不確実性推定を改善するのか？
• RQ4 エンタングルメントを用いて実データと合成データのエンタングルメントを測定・指針にすることで生成モデルを評価・指導できるのか？
• RQ5 エンタングルメント表現は転移性や対向入力への頑健性にどう影響するのか？

主な発見

• 隠れ層でのエンタングルメントを最大化することは訓練を正則化し、データセット間でテスト精度をわずかに改善する場合がある。
• エンタングルメント表現はクラス内データを広げる傾向があり、後半の層で識別を助け、分布外の分離性能を向上させる。
• エンタングルメントモデルは特に分布外データや対向データに対してDkNNの不確実性推定をより良く較正する。
• GANsは訓練中に実データと合成データのエンタングルメントが増加する傾向を示し、モードカバレッジはアーキテクチャによって異なる。
• エンタングルメント表現はモデル間での対向摂動の転移性を低くする。
• 分布外データはエンタングルメントモデルで分布内データとより分離可能となり、新規入力の検出精度を向上させる。