[論文レビュー] Maximum Class Separation as Inductive Bias in One Matrix

Tejaswi Kasarla, Gertjan J. Burghouts+4 more|UvA-DARE (University of Amsterdam)|Jun 17, 2022

Advanced Neural Network Applications被引用数 10

ひとこと要約

本論文は、ソフトマックス関数の前に行う1つの閉形式の行列乗算を通じて、深層ネットワークに最大クラス分離を固定された誘導的バイアスとして埋め込む手法を提案する。この行列は再帰的に計算され、等角的で平均がゼロのクラスベクトルを保証する。このアプローチは、分類、長尾認識、分布外検出のあらゆるタスクで性能を向上させ、計算コストの増加は最小限で、トレーニング最適化の追加は不要である。

ABSTRACT

Maximizing the separation between classes constitutes a well-known inductive bias in machine learning and a pillar of many traditional algorithms. By default, deep networks are not equipped with this inductive bias and therefore many alternative solutions have been proposed through differential optimization. Current approaches tend to optimize classification and separation jointly: aligning inputs with class vectors and separating class vectors angularly. This paper proposes a simple alternative: encoding maximum separation as an inductive bias in the network by adding one fixed matrix multiplication before computing the softmax activations. The main observation behind our approach is that separation does not require optimization but can be solved in closed-form prior to training and plugged into a network. We outline a recursive approach to obtain the matrix consisting of maximally separable vectors for any number of classes, which can be added with negligible engineering effort and computational overhead. Despite its simple nature, this one matrix multiplication provides real impact. We show that our proposal directly boosts classification, long-tailed recognition, out-of-distribution detection, and open-set recognition, from CIFAR to ImageNet. We find empirically that maximum separation works best as a fixed bias; making the matrix learnable adds nothing to the performance. The closed-form implementation and code to reproduce the experiments are available on github.

研究の動機と目的

• エンドツーエンド最適化を必要とせず、深層学習モデルに最大クラス分離を固定された誘導的バイアスとして埋め込むこと。
• 出力空間でクラスを最大限に分離する等角的で平均がゼロのクラスベクトルの閉形式解を提供すること。
• この固定行列が、長尾認識や分布外検出を含む多様なタスクで性能を向上させることを実証すること。
• 行列を学習可能にすると利益が得られず、固定されたままにすべきであることを示すこと。
• 最小限の工学的作業と無視できる計算オーバーヘッドにより、広範な採用を可能にすること。

提案手法

• 再帰的アルゴリズムにより、$ (C+1) \times C $ の固定行列を計算し、$ C+1 $ 個のクラスベクトルを最大の角度間隔で、かつ平均がゼロとなるように保証する。
• この行列は、ネットワークのログティスに線形変換を適用することで、分離とトレーニング最適化を分離する。
• この手法により、すべてのクラスベクトルが等角的かつ超球面上に一様に分布し、単体等角フレーム（simplex equiangular tight frame）を形成することが保証される。
• 標準的なクロスエントロピー損失および任意のネットワークアーキテクチャと互換性があり、統合には1行のコードで十分である。
• 最適化を用いず、等角フレームの幾何的性質に依存して解析的に行列を導出する。
• 任意のクラス数に一般化可能であり、バックボーンネットワークアーキテクチャに依存しない。

実験結果

リサーチクエスチョン

• RQ1 最大クラス分離を最適化を用いずに閉形式で解けるか。その場合、深層ネットワークに誘導的バイアスとしてどのように埋め込むことができるか。
• RQ2 固定行列により等角クラスベクトルを強制することで、標準的および長尾分類タスクにおける一般化性能が向上するか。
• RQ3 性能と効率の観点から、固定行列は学習可能または最適化された分離機構と比べてどのように異なるか。
• RQ4 この誘導的バイアスは、標準分類を越えて分布外認識やオープンセット認識の性能向上に寄与するか。
• RQ5 行列を固定したままにした場合とトレーニング中に学習可能にした場合とでは、どちらがより効果的か。

主な発見

• 提案手法の固定行列は、標準的なImageNet分類の精度を向上させるとともに、長尾認識ベンチマークにおいて顕著な性能向上を達成する。
• 既存のSOTAモデルに追加することで、長尾認識タスクで最先端の結果を達成し、広範な互換性を示している。
• 出力空間における幾何的分離の向上により、分布外およびオープンセット認識の性能が向上する。
• 行列を学習可能にすると性能向上が得られず、最大分離が事前トレーニング段階で閉形式で解くのが最適であることを確認した。
• 実行時オーバーヘッドは測定不能なほど小さく、任意のネットワークに1行のコードで統合可能である。
• 行列の再帰的構築により、任意のクラス数に対して等角的で平均がゼロのクラスベクトルが保証され、単体等角フレームが形成される。