[論文レビュー] A Generalized Lottery Ticket Hypothesis

Ibrahim Alabdulmohsin, Larisa Markeeva+2 more|arXiv (Cornell University)|Jul 3, 2021

Face and Expression Recognition参考文献 14被引用数 4

ひとこと要約

この論文は、非構造的スパarsityを超えて任意の正規直交パラメータベースにまで拡張された一般化ロトゥリー・チケット仮説（GLTH）を導入する。カスタム辞書（たとえばDCTや恒等変換ベース）を用いてスパarsityを再定義することにより、入力ピクセルの削除や低ランク因子分解といった構造的プルーニングが、モデルの精度を維持したまま高い圧縮を可能にすることを示している。特に、DCTベースのプルーニングを用いることでCIFAR10でパラメータを最大98％削減した。

ABSTRACT

We introduce a generalization to the lottery ticket hypothesis in which the notion of "sparsity" is relaxed by choosing an arbitrary basis in the space of parameters. We present evidence that the original results reported for the canonical basis continue to hold in this broader setting. We describe how structured pruning methods, including pruning units or factorizing fully-connected layers into products of low-rank matrices, can be cast as particular instances of this "generalized" lottery ticket hypothesis. The investigations reported here are preliminary and are provided to encourage further research along this direction.

研究の動機と目的

• パラメータ空間における非構造的スパarsityから、任意の正規直交基底へのロトゥリー・チケット仮説の拡張を目的とする。
• ロトゥリー・チケットに類似した「勝ちチケット」が、標準基底に限らず、DCTや恒等変換に基づく辞書のような他の基底に対しても存在するかどうかを調査すること。
• ユニットプルーニングや低ランク因子分解といった構造的プルーニング手法が、この一般化されたフレームワークの下で統一可能であることを示すこと。
• 反復的マグニチュードプルーニング（IMP）が非標準基底（たとえばDCT基底）に対しても適応可能であり、最小限の精度低下で高い圧縮を達成できることを示すこと。
• 効率的なモデル圧縮のための、基底に依存しないロトゥリー・チケット現象に関する今後の研究を促進すること。

提案手法

• $d$次元のパラメータ空間における正規直交基底 $\mathcal{D} = \{v_1, \dots, v_d\}$ を定義し、重みベクトルの $\mathcal{D}$-表現における非ゼロ係数の数としてスパarsityを再定義する。
• 一般化ロトゥリー・チケット仮説（GLTH）を定式化する：任意の辞書 $\mathcal{D}$ に対して、$|\mathcal{D}'| \ll d$ を満たす小さな部分集合 $\mathcal{D}' \subset \mathcal{D}$ が存在し、$\text{Span}(\mathcal{D}')$ 上で訓練することで、通常の訓練と同等のテスト精度が得られること。
• 反復的マグニチュードプルーニング（IMP）アルゴリズムを一般化された基底に適応する：各ステップで、現在の重みベクトルと残りの部分空間への射影とのユークリッド距離を最小化する基底ベクトルを削除する。
• 特定の辞書を用いて構造的プルーニングを適用する：恒等行列を用いて入力ユニット（たとえばピクセル）をプルーニングし、DCT基底を用いて全結合層の低ランク因子分解を可能にする。
• 低ランク因子分解のため、重み行列 $\mathbf{W} \in \mathbb{R}^{d_{\text{in}} \times d_{\text{out}}}$ を $\mathbf{W} = \mathbf{U}'\mathbf{C}'$ として表現する。ここで $\mathbf{U}'$ は正規直交行列 $\mathbf{U}$ のプルーニングされた列の部分集合であり、$\mathbf{C}'$ は学習された係数である。
• 同じIMP手順を用いて $\mathbf{U}$ の列を反復的に削除し、低ランク構造を維持するとともに、効率的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パラメータ空間における別の正規直交基底に基づいてスパarsityを定義した場合、ロトゥリー・チケット現象がゼロパラメータとは限らない状況でも成立するか？
• RQ2 入力ピクセルの削除や層の低ランク行列への因子分解といった構造的プルーニング手法が、同一の理論的フレームワークで統一可能か？
• RQ3 DCT基底のような非標準基底に対して反復的マグニチュードプルーニング（IMP）が有効に機能するか？
• RQ4 特定の基底に基づくスパarsityを用いることで、95％以上の高い圧縮率（例：98％）を達成しつつ、精度の低下を最小限に抑えることができるか？
• RQ5 特に低ランク因子分解や入力プルーニングを可能にする場合に、特定の基底に基づくプルーニングの計算およびメモリ上の利点は何か？

主な発見

• 一般化ロトゥリー・チケット仮説は実験的に成立している：勝ちチケットは標準基底に限らず、DCT基底や恒等変換に基づく基底に対しても存在する。
• DCT基底を用いたプルーニングにより、最初の全結合層でパラメータの98％を削除したが、CIFAR10では約52％のテスト精度を維持した。
• 恒等変換に基づく辞書を用いることで、3072個の入力ピクセル・チャンネルのうち約150個を除きすべてプルーニングしたが、約52％の精度を維持した。これは、入力座標を完全に削除したことと同等である。
• プルーニングされたモデルは、最小限の精度低下で高い圧縮を達成しており、基底の選択が達成可能な圧縮率に顕著な影響を与えることが示された。
• DCTベースのプルーニングによる低ランク因子分解により、効率的な推論が可能になった。特に $m \ll \min(d_{\text{in}}, d_{\text{out}})$ の場合、$\mathbf{W} = \mathbf{U}'\mathbf{C}'$ 構造は高速な行列乗算を可能にする。
• 非標準基底に適応したIMPアルゴリズムは、スパースで高い性能を示す部分空間を効果的に同定し、一般化されたフレームワークの有効性を裏付けた。