[論文レビュー] Shapley Value as Principled Metric for Structured Network Pruning

Marco Ancona, Cengiz Öztireli+1 more|arXiv (Cornell University)|Jun 2, 2020

Advanced Neural Network Applications参考文献 36被引用数 6

ひとこと要約

この論文は、協力ゲーム理論を活用して隠れユニットの寄与度をより正確に評価する、原理的で整合性のあるメトリクスとしてシャープレー値を提案する。構造的ニューラルネットワークのプルーニングにおいて、シャープレー値は、微調整が制限される低データ環境においても、性能の低下を最小限に抑えることで、テイラー展開やランダムプルーニングといったヒューリスティックなメトリクスを上回ることを示している。

ABSTRACT

Structured pruning is a well-known technique to reduce the storage size and inference cost of neural networks. The usual pruning pipeline consists of ranking the network internal filters and activations with respect to their contributions to the network performance, removing the units with the lowest contribution, and fine-tuning the network to reduce the harm induced by pruning. Recent results showed that random pruning performs on par with other metrics, given enough fine-tuning resources. In this work, we show that this is not true on a low-data regime when fine-tuning is either not possible or not effective. In this case, reducing the harm caused by pruning becomes crucial to retain the performance of the network. First, we analyze the problem of estimating the contribution of hidden units with tools suggested by cooperative game theory and propose Shapley values as a principled ranking metric for this task. We compare with several alternatives proposed in the literature and discuss how Shapley values are theoretically preferable. Finally, we compare all ranking metrics on the challenging scenario of low-data pruning, where we demonstrate how Shapley values outperform other heuristics.

研究の動機と目的

• 微調整が利用不可または効果が薄い状況においても、ヒューリスティックな帰属メトリクスの限界を克服すること。
• テイラー展開やLRPといった既存のメトリクスがユニットの重要度を推定する際に抱える理論的欠陥を特定すること。
• 協力ゲーム理論に基づき、望ましい公理的性質を備えた理論的に整合性のある代替手段としてシャープレー値を提案すること。
• 低データ環境における微調整なしにプルーニングを実施した際、シャープレー値に基づくプルーニングが性能の損なわれを最小限に抑え、モデルの精度をよりよく保持することを実証的に検証すること。

提案手法

• 協力ゲーム理論におけるシャープレー値を用いて、各隠れユニットが特定のタスクにおけるネットワーク性能に与える寄与度を定量化する。
• 各ユニットの寄与度をゲームとしてモデル化し、ユニットを含むか否かでモデル性能の変化を測定する価値関数を定義する。
• ランダムに選ばれた他のユニットの部分集合を繰り返し用いて、シャープレー値をモンテカルロ近似で効率的に推定する。
• ユニットをシャープレー値の順にランク付けし、寄与度が最も低いユニットから順に構造的プルーニングを実行する。
• 微調整なしにプルーニングを実施し、低データ環境を再現し、プルーニング比の関数として精度の低下を測定する。
• 標準ベンチマーク（CIFAR-10、CUB-200）を用いて、シャープレー値をランダムプルーニング、テイラー展開、LRPと比較する。

実験結果

リサーチクエスチョン

• RQ1 微調整が利用不可の低データ環境における構造的プルーニングにおいて、既存のヒューリスティックなユニット重要度メトリクス（例：テイラー展開、LRP）はどの程度の性能を示すか？
• RQ2 構造的プルーニングに適した理想的な帰属メトリクスが満たすべき理論的性質は何か？ また、現在の手法はその要件をどのように満たしていないか？
• RQ3 シャープレー値が公理的基盤に裏付けられていることから、プルーニングのためのユニットの順序付けにおいて、より原理的で効果的なものとなるか？
• RQ4 微調整が利用不可の状況において、シャープレー値に基づくプルーニングは、ヒューリスティックまたはランダムプルーニングと比較して性能の低下をどれほど軽減できるか？

主な発見

• シャープレー値は、複数のデータセット（CIFAR-10 および CUB-200）およびさまざまなプルーニング比において、他のメトリクス（テイラー展開やランダムプルーニングを含む）を一貫して上回る性能を示した。
• CIFAR-10では、25%および50%のユニットをプルーニングした後でも、シャープレー値が最高のテスト精度を達成し、低プルーニング比においては、2番目に良い手法（ランダムプルーニング）をも上回った。
• より困難なCUB-200データセットでは、テイラー展開が最良の性能を示す中で、シャープレー値が優れた性能を維持した。これは、多様な設定においても一貫性があることを示している。
• シャープレー値は、性能に悪影響を与えるユニットを特定でき、その除去による損なわれは最小限に抑えられるが、これはヒューリスティック手法では信頼性を持って捉えられていない。
• 微調整が不可能な低データ環境では、シャープレー値と他のメトリクスとの性能差が拡大する。これは、このような状況において原理的メトリクスの重要性を強調している。
• 本研究は、効率性、対称性、ダミー・プレーヤーの性質といった望ましい公理によって一意に特徴づけられるため、シャープレー値が理論的に優れていることを示した。