[論文レビュー] Tensor Normalization and Full Distribution Training

Wolfgang Fuhl|arXiv (Cornell University)|Sep 6, 2021

Model Reduction and Neural Networks参考文献 102被引用数 31

ひとこと要約

ReLU後のピクセル単位のテンソル正規化と全分布トレーニングを導入し、マルチクラスタスクをマルチラベル問題へ再定式化する全分布トレーニング手法を提案。これにより、複数のデータセットとアーキテクチャで精度と頑健性が向上する。

ABSTRACT

In this work, we introduce pixel wise tensor normalization, which is inserted after rectifier linear units and, together with batch normalization, provides a significant improvement in the accuracy of modern deep neural networks. In addition, this work deals with the robustness of networks. We show that the factorized superposition of images from the training set and the reformulation of the multi class problem into a multi-label problem yields significantly more robust networks. The reformulation and the adjustment of the multi class log loss also improves the results compared to the overlay with only one class as label. https://atreus.informatik.uni-tuebingen.de/seafile/d/8e2ab8c3fdd444e1a135/?p=%2FTNandFDT&mode=list

研究の動機と目的

• 活性化の後にパラメータ不要のピクセル単位テンソル正規化層を導入して一般化を向上させる。
• 訓練画像の因数分解重ね合わせとマルチラベル損失の定式化でモデルの頑健性を向上させる。
• 適用したsoftmax損失を用いてマルチクラス分類をマルチラベル設定へ再定式化する。
• 提案手法を複数のデータセットとネットワークアーキテクチャで評価し、頑健性と精度の向上を示す。
• PGDのような敵対的摂動下での頑健性を評価し、含意を分析する。

提案手法

• 2Dテンソル正規化（TN）を提案し、深さZ全体のx,yごとの平均を計算して活性化テンソルから差し引く。
• ReLUの後にオンラインで正規化を実行し、追加のメモリ負担なしで勾配は減算を通じて単純に逆伝播する。
• Full Distribution Training (FDT) を導入し、複数の画像を調和級数ベースの重み付けスキームとクラスのランダム選択を用いて単一のマルチラベル例に組み合わせる。
• マルチラベル設定（アルゴリズム4）にクロスエントロピー損失を適用して、予測にsoftmaxを適用し、真の分布GTを用いてすべての関連ラベルの勾配を計算する。
• 強健性を正当化するために、マルチラベル入力の構築（Eq. 2–4）とマルチラベル損失計算（Alg. 4）を提供する。
• PGD攻撃による頑健性を評価し、ベースライン、オーバーレイ（OV）、およびTN+FDT構成と比較する。

実験結果

リサーチクエスチョン

• RQ1 Pixel-wise tensor normalization after ReLU は、一般的なビジョンデータセット全体で一般化を改善するか？
• RQ2 Full distribution training (FDT) は追加の訓練時間やパラメータなしに敵対的様な摂動に対する頑健性を高めるか？
• RQ3 マルチクラス分類をマルチラベル問題に再定式化することは、標準的なクロスエントロピー損失と比べて精度と頑健性にどのような影響を与えるか？
• RQ4 PGD攻撃下でのTNとFDTの組み合わせが、異なるアーキテクチャとデータセットにどのような総合的影響を与えるか？

主な発見

• テンソル正規化（TN）は、頑健性と精度の点で、他の組み合わせよりもいくつかのデータセットで上回る。
• Full distribution training (FDT) はPGD攻撃に対する頑健性を高め、TNと組み合わせると著しく効果が出る。
• SVHN では、データに既にマルチラベル勾配が存在するため、FDT は頑健性の改善が小さいことがあり、データセット依存の効果を示す。
• TNとFDTの組み合わせは、CIFAR-10、CIFAR-100、Fashion-MNIST、SVHN で、小型のResNet-34およびより大きなモデルで強力な性能向上をもたらす。
• TNとFDTを効果的にするには追加のパラメータや訓練時間は不要であることを示唆しているが、TNは正規化ステップの計算を多少追加する。