[論文レビュー] Channel-Wise Early Stopping without a Validation Set via NNK Polytope Interpolation

David Bonet, Antonio Ortega+2 more|arXiv (Cornell University)|Jul 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 4

ひとこと要約

本稿では、ConvNetsにおける一般化性能を、NNKグラフを用いた個々のネットワークチャネルにおける局所ポリトープ補間によって推定する、チャネル別DeepNNK（CW-DeepNNK）という新しいアンチオーバーフィット停止基準を提案する。標準的手法とは異なり、検証データセットを必要とせず、チャネルごとの停止時刻を設定可能であり、タスク固有の性能指標と効率的なLOO計算頻度を活用することで、訓練時間を短縮しつつ最先端のテスト精度を達成する。

ABSTRACT

State-of-the-art neural network architectures continue to scale in size and deliver impressive generalization results, although this comes at the expense of limited interpretability. In particular, a key challenge is to determine when to stop training the model, as this has a significant impact on generalization. Convolutional neural networks (ConvNets) comprise high-dimensional feature spaces formed by the aggregation of multiple channels, where analyzing intermediate data representations and the model's evolution can be challenging owing to the curse of dimensionality. We present channel-wise DeepNNK (CW-DeepNNK), a novel channel-wise generalization estimate based on non-negative kernel regression (NNK) graphs with which we perform local polytope interpolation on low-dimensional channels. This method leads to instance-based interpretability of both the learned data representations and the relationship between channels. Motivated by our observations, we use CW-DeepNNK to propose a novel early stopping criterion that (i) does not require a validation set, (ii) is based on a task performance metric, and (iii) allows stopping to be reached at different points for each channel. Our experiments demonstrate that our proposed method has advantages as compared to the standard criterion based on validation set performance.

研究の動機と目的

• 検証データセットに依存せずに、深層学習における最適な訓練停止時刻を決定する課題に対処すること。
• 中間活性化のチャネルレベルでの解析を通じて、学習済み特徴表現のインスタンスベースの解釈可能性を高めること。
• 各畳み込みフィルタの独自の寄与度と学習ダイナミクスを捉えるチャネル別一般化推定を開発すること。
• 局所的性能に基づいて各チャネルごとに訓練期間を適応的に調整する早期停止基準を提案し、効率性と一般化性能を向上させること。
• 特に低データ環境において、検証用にラベル付きデータを予約する必要を排除しつつ、高いテスト精度を維持すること。

提案手法

• 中間層活性化の低次元部分ベクトル（チャネル）にNNKグラフを構築し、一般化推定のための局所ポリトープ補間を可能にする。
• 各チャネルの一般化指標として、NNKポリトープ上でのleave-one-out（LOO）分類性能を用いる。
• 特定のチャネルのLOO性能が向上しなくなった段階で、チャネルごとの早期停止ルールを適用し、各チャネルの停止時刻を個別に設定可能にする。
• 高次元特徴空間におけるロバスト性を高めるために、範囲正規化されたコサインカーネルおよびガウスカーネルを採用する。
• 計算コストを削減しつつ性能を維持するため、LOO計算を頻度を低く（例：Tエポックごと）に実行する。
• 任意の最適化手法と互換性があり、ハイパーパrameterチューニングや検証データの必要がない。

実験結果

リサーチクエスチョン

• RQ1 検証データセットを必要とせず、局所ポリトープ補間を用いてチャネルごとの一般化を効果的に推定できるか？
• RQ2 LOO性能に基づくチャネル別早期停止は、標準的な検証ベース手法と比較して、テスト精度を向上させるとともに訓練時間を短縮できるか？
• RQ3 すべてのラベル付きデータを訓練に使用することで、低データ環境でも高い性能を維持できるか？
• RQ4 LOO計算の頻度が、早期停止基準の効率性と正確性にどのように影響するか？
• RQ5 予測に寄与する価値が低いチャネルを同定でき、将来的なモデル圧縮のためのプルーニングに活用できるか？

主な発見

• コサインカーネルを用いたCW-DeepNNKは、テスト精度と訓練イテレーションのトレードオフにおいて最良のバランスを達成し、検証ベースの早期停止およびフルベクトルDeepNNKを上回る性能を示した。
• 検証ベースの早期停止と同等またはそれ以上のテスト精度を維持しながら、すべてのラベル付きデータを訓練に使用したため、検証用データを予約する必要がなくなった。
• LOO計算頻度を10エポックごとへ低減しても、テスト精度と停止時刻に大きな影響を及ぼさず、検証ベース手法と同等の計算効率を達成した。
• 小規模データ設定（1000サンプル）では、すべてのデータを活用できるため、CW-DeepNNKは検証ベース手法よりも高いテスト精度を達成した。
• 標準的手法よりも過学習を早期に検知でき、一般化性能を損なわずとも早期に停止可能であった。
• チャネルごとの訓練終了が可能であり、一部のチャネルは他のチャネルよりも早く最適な性能に到達しており、フィルタ間での学習速度の差が示された。