[論文レビュー] Ranking Deep Learning Generalization using Label Variation in Latent Geometry Graphs

Carlos Lassance, Louis Béthune+3 more|arXiv (Cornell University)|Nov 25, 2020

Advanced Graph Neural Networks参考文献 12被引用数 4

ひとこと要約

この論文は、潜在的幾何グラフ（LGG）とラベル変動を用いた深層ニューラルネットワークの一般化尺度を提案し、NeurIPS 2020 PGDL 競争で3位を獲得した。中間層の表現に基づく類似性に基づくグラフを構築し、異なるクラスに属するサンプル間のエッジ重みの合計（ラベル変動）を測定することで、潜在空間が分類タスクとどの程度整合しているかを定量化し、検証データセットを必要としない頑健な一般化の代理指標を提供する。

ABSTRACT

Measuring the generalization performance of a Deep Neural Network (DNN) without relying on a validation set is a difficult task. In this work, we propose exploiting Latent Geometry Graphs (LGGs) to represent the latent spaces of trained DNN architectures. Such graphs are obtained by connecting samples that yield similar latent representations at a given layer of the considered DNN. We then obtain a generalization score by looking at how strongly connected are samples of distinct classes in LGGs. This score allowed us to rank 3rd on the NeurIPS 2020 Predicting Generalization in Deep Learning (PGDL) competition.

研究の動機と目的

• 深層学習の一般化性能を検証データセットに依存しない代理指標として開発すること。
• 従来の検証ベースの一般化推定の限界（訓練データの減少とモデル性能の低下）を解消すること。
• LGGを用いて捉えた潜在空間の幾何構造が、一般化能力の信頼できる指標として機能するかを検証すること。
• ミックスアップ増強データを組み込むことで、多様なアーキテクチャおよびハイパーパramータに対して一般化予測の頑健性を向上させること。
• 実際のテスト性能と強く相関するが、過学習の兆候を最小限に抑えた一般化スコアを特定すること。

提案手法

• 中間層表現の類似性（コサイン類似度またはRBF類似度カーネル）に基づいて、データサンプル同士を接続することで、潜在的幾何グラフ（LGG）を構築する。
• k近傍法のしきい値を適用して、スパースで局所的に接続されたグラフを生成し、度数行列を用いて対称化および正規化する（オプション）。
• ラベル変動を、ラベル信号とグラフラプラシアンの積のトレースとして定義し、異なるクラスに属するサンプル間のエッジ重み総和を測定する。
• ミックスアップ増強された訓練サンプルを用いて、より頑健なLGGを生成し、一般化スコアにおける過学習バイアスを低減する。
• 複数のLGG（|G|）におけるラベル変動の中央値を計算することで、最終スコアの安定性を高め、ばらつきを低減する。
• 主な一般化代理指標として、LGG、ラベル変動、ミックスアップ増強を統合した「クラスごとの中央値の変動（VPM）」スコアを導入する。

実験結果

リサーチクエスチョン

• RQ1 潜在的幾何グラフにおけるラベル変動は、検証データセットを必要としない信頼できる深層学習一般化の代理指標として機能するか？
• RQ2 ミックスアップ増強データを組み込むことで、異なるアーキテクチャにおいてラベル変動スコアの頑健性と一般化性能がどのように向上するか？
• RQ3 複数のLGGに基づくラベル変動スコアの中央値は、公開セットと開発セットの間でばらつきを低減し、一貫性を向上させるか？
• RQ4 類似度カーネルやk-NNしきい値のLGG構築戦略の違いが、実際の一般化性能との相関に与える影響は何か？
• RQ5 本手法は、検証データセットを必要とせずに、多様なネットワークアーキテクチャおよび学習ハイパーパramータにどの程度一般化可能か？

主な発見

• 提案されたVPM（Variation Per Class Median）スコアは、NeurIPS 2020 PGDL 競争の最終セットで平均スコア9.99を達成し、24件の提出の中での3位となった。
• VPMスコアは、VR（Variation Rate）やWCV（Weighted Class Variation）といったベースラインスコアと比較して、公開セットと開発セットの性能のバランスが優れていた。
• ミックスアップ増強されたサンプルを用いることで、ラベル変動指標の一般化性能が著しく向上し、過学習が顕著なモデルにおける過学習の兆候が低減した。
• 時間制約のため最終提出では1つのLGG（|G|=1）しか使用しなかったが、これにより公開セットでのスコアが低下（11.22から6.26に）したため、グラフ数を増やすことで精度が向上することが示された。
• タスク固有の結果では、変動が顕著であった（例：タスク8で16.23、タスク9で2.28）。これは、本手法の性能がデータ分布に敏感であることを示唆しており、グラフの多様性を高めることでこのばらつきを緩和できる可能性がある。
• 本手法はタスク間で高い一貫性を示し、大多数のタスクで時間予算の10％未満で実行されたため、高い計算効率とスケーラビリティを有していることが示された。