[論文レビュー] Input Similarity from the Neural Network Perspective

Guillaume Charpiat, Nicolas Girard+2 more|arXiv (Cornell University)|Feb 10, 2021

Neural Networks and Applications被引用数 28

ひとこと要約

論文はニューラルネットワーク駆動の入力類似性の概念を定義し、その数学的性質を分析し、それを用いてサンプル密度を推定し、ノイズのあるラベル下での自己デノイジングを研究します。また、訓練中の類似性の強制と、リモートセンシング画像のアライメントといった実用的応用を探ります。

ABSTRACT

We first exhibit a multimodal image registration task, for which a neural network trained on a dataset with noisy labels reaches almost perfect accuracy, far beyond noise variance. This surprising auto-denoising phenomenon can be explained as a noise averaging effect over the labels of similar input examples. This effect theoretically grows with the number of similar examples; the question is then to define and estimate the similarity of examples. We express a proper definition of similarity, from the neural network perspective, i.e. we quantify how undissociable two inputs $A$ and $B$ are, taking a machine learning viewpoint: how much a parameter variation designed to change the output for $A$ would impact the output for $B$ as well? We study the mathematical properties of this similarity measure, and show how to use it on a trained network to estimate sample density, in low complexity, enabling new types of statistical analysis for neural networks. We analyze data by retrieving samples perceived as similar by the network, and are able to quantify the denoising effect without requiring true labels. We also propose, during training, to enforce that examples known to be similar should also be seen as similar by the network, and notice speed-up training effects for certain datasets.

研究の動機と目的

• パラメータ更新を通じて入力同士が互いにどのように影響し合うかを反映する intrinsic なネットワーク中心の入力類似性の概念を定義する
• バニラおよびパラメータ共有ネットワークの類似度測度の数学的性質を分析する
• 訓練済みネットワークからサンプル近傍を定量化するための高速・低計算量の推定器を開発する
• 類似度測度がラベルノイズ下での自己デノイジング効果を定量化できることを示す
• 学習を加速し頑健性を向上させるための訓練時の類似性強制を調査する
• ノイズ付きラベルを伴うリアルワールドタスク（リモートセンシング画像のアライメント）の分析・改善への類似性フレームワークの適用

提案手法

• 類似性を、入力がパラメータ更新を介してもう一方に及ぼす影響として定義し、勾配に基づくカーネルを導出する：k^N_theta(x,x') = (∇_θ f_θ(x) · ∇_θ f_θ(x')) / ||∇_θ f_θ(x)||^2
• 対称で有界な相関カーネル k^C_theta(x,x') = (∇_θ f_θ(x)/||∇_θ f_θ(x)||) · (∇_θ f_θ(x')/||∇_θ f_θ(x')||
• 出力次元を高次元へ拡張し、カーネル K_theta およびその正規化バリアント K^C_theta を定義する；k^C_theta(x,x') = (1/d) Tr K^C_theta(x,x')
• 出力が1Dの場合において線形時間計算で動作する、高速・低計算量の密度推定器 N_S(x) = sum_{x'} k^C_theta(x,x') を提案（および高次の d へのスケーラビリティ）
• 分類を単純な2値の見方および出力が確率的である場合のFisher情報との関連を論じる
• 訓練時の類似性強制を、-k^C_theta(x,x') に比例する損失項を追加することで検討し、その計算的側面（ダブルバックプロパゲーション）を分析する

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークに内在する入力類似性の正確な概念は何か、勾配からどのように定量化できるか
• RQ2 この類似性はサンプル密度およびノイズ付きラベル下でのネットワークのデノイジング挙動とどう関連するか
• RQ3 提案された類似度測度を用いて近傍回数と密度を効率的に推定できるか
• RQ4 訓練中の類似性強制の効果と潜在的利点は何か
• RQ5 ノイズ付きアノテーションを伴う現実のタスク（例: リモートセンシング画像のアライメント）を分析・改善するために、類似性フレームワークをどのように適用できるか

主な発見

• 勾配ベースの類似度測度（k^C_theta）は、意味のある対称的な入力類似性の概念を提供し、[-1,1] に有界でネットワークの挙動に基づく
• ノイズ付きラベルでの訓練時に自己デノイジング効果を説明・定量化できること、類似入力が出力を整列させ分散を減らすため
• 高速推定器(N_S)は1D出力の場合に線形時間で近傍密度を計算し、高次出力へも比較的低コストで拡張可能
• 類似性統計は訓練ラウンドが入力近傍をどのように変化させるかを明らかにし、学習中の入力の識別性が進化することを示す
• 訓練中の類似性強制は特定のデータセット（例: MNIST）で収束を加速し、学習ダイナミクスに影響を与える可能性がある
• 本アプローチをリモートセンシング画像のアライメントタスクへ適用し、ネットワークが認識する類似性が知覚損失ベースラインを超えた近傍構造と一致することを示す