[論文レビュー] Fix Your Features: Stationary and Maximally Discriminative Embeddings using Regular Polytope (Fixed Classifier) Networks

Federico Pernici, Matteo Bruni+2 more|arXiv (Cornell University)|Feb 27, 2019

Handwritten Text Recognition Techniques参考文献 28被引用数 8

ひとこと要約

本稿では、埋め込み空間内での正多面体（d-単体、d-超立方体、d-直交単体）の頂点に分類器重みを固定することで、定常的で最大の識別性を持つ特徴を強制する、Regular Polytope Networks (RePoNet) を提案する。高い対称性を活用することで、学習中に特徴が固定された重みと角方向に一致し、学習可能な分類器と同等またはそれ以上の精度を達成しながら、予測可能で安定した特徴学習を実現する。

ABSTRACT

Neural networks are widely used as a model for classification in a large variety of tasks. Typically, a learnable transformation (i.e. the classifier) is placed at the end of such models returning a value for each class used for classification. This transformation plays an important role in determining how the generated features change during the learning process. In this work we argue that this transformation not only can be fixed (i.e. set as non trainable) with no loss of accuracy, but it can also be used to learn stationary and maximally discriminative embeddings. We show that the stationarity of the embedding and its maximal discriminative representation can be theoretically justified by setting the weights of the fixed classifier to values taken from the coordinate vertices of three regular polytopes available in $\mathbb{R}^d$, namely: the $d$-Simplex, the $d$-Cube and the $d$-Orthoplex. These regular polytopes have the maximal amount of symmetry that can be exploited to generate stationary features angularly centered around their corresponding fixed weights. Our approach improves and broadens the concept of a fixed classifier, recently proposed in \cite{hoffer2018fix}, to a larger class of fixed classifier models. Experimental results confirm both the theoretical analysis and the generalization capability of the proposed method.

研究の動機と目的

• 深層ネットワークの学習中に生じる特徴の不安定性と非定常性を解消するため、分類器重みを固定すること。
• 対称的な多面体配置に基づく固定分類器が、最適な特徴識別性と定常性を達成できることを示すこと。
• ハダールドに基づく手法にとどまらず、より広範な対称的かつ理論的根拠を持つ構成に固定分類器の概念を一般化すること。
• 固定多面体ベースの分類器が、多様なアーキテクチャとデータセットにおいて、特徴次元を低減しても高い精度を維持できることを示すこと。
• 対称的な幾何的構造を用いて事前に分類器重みを定義することで、予測可能な特徴空間の整合性を実現すること。

提案手法

• 分類器重みは、ℝ^d 内の正多面体（d-単体、d-超立方体、d-直交単体）の座標的頂点に初期化される。
• 最終層には、スコアが z_i = w_i^T · f として計算される固定で学習不可の線形分類器が使用され、w_i は多面体の頂点に固定される。
• 特徴ベクトル f はSGDを用いて最適化され、分類損失を最小化するよう、固定された重み方向と角方向に一致するように調整される。
• 多面体頂点の対称性により、特徴の平均が一定（定常的）であり、各クラス重みの周囲に角方向に中心が位置することが保証される。
• LeNet++、VGG、DenseNet などの複数のアーキテクチャと、MNIST、CIFAR-10/100 などのデータセットに対して、ベースラインモデルと同一の学習設定で実装されている。
• 理論的裏付けは、対称的な多面体配置が特徴方向の角間隔を最大化し、分散を最小化することに起因する。

実験結果

リサーチクエスチョン

• RQ1 正多面体から導出された固定分類器重みが、定常的かつ最大の識別性を持つ特徴表現を強制できるか？
• RQ2 多面体ベースの分類器の対称性が、特徴の整合性と学習安定性に与える影響は何か？
• RQ3 対称的な固定分類器を用いることで、多様なアーキテクチャとデータセットにおいて、学習可能な分類器と同等またはそれ以上の精度が達成できるか？
• RQ4 特徴空間次元 d とクラス数 K の関係が、多面体ベースの固定分類器の性能に与える影響は何か？
• RQ5 提案手法は、標準的な固定分類器ベースラインと比較して、より速い収束速度を示せるか？

主な発見

• RePoNetは、学習可能な分類器と同等または優れた精度を達成する。例えば、d=50 の d-直交単体を用いたCIFAR-100では74.32%の精度を達成し、d=512のベースラインと同等の性能を示した。
• VGG19における d-超立方体分類器は、d=7で64.02%の精度を達成し、d=512の学習可能な分類器（68.69%）よりもはるかに小さな次元空間で優れた性能を示した。
• d=50のRePoNet d-直交単体は、CIFAR-100で69.07%の精度に達し、d=7の学習可能な分類器ベースライン（66.32%）を上回った。
• 学習速度が速く、トレーニング曲線からCIFAR-100において学習可能なベースラインと同等の収束速度を示した。
• DenseNet-169を含む多様なアーキテクチャにおいても性能が安定し、アーキテクチャに依存しない適用可能性が確認された。
• d < K の場合、ハダールドに基づく固定分類器は失敗するが、RePoNetは性能を維持し、クラス数と次元数の不均衡に対する頑健性を示した。