[論文レビュー] EigenGame: PCA as a Nash Equilibrium

Ian Gemp, Brian McWilliams+2 more|arXiv (Cornell University)|Oct 1, 2020

Sparse and Compressive Sensing Techniques参考文献 39被引用数 6

ひとこと要約

この論文は、主成分分析（PCA）をナッシュ均衡問題として定式化する新しいゲーム理論的フレームワーク、EigenGameを提案する。各主成分は自身の利得を最適化するプレイヤーとして扱われる。この手法は、Ojaの法則と一般化されたグラム・シュミット直交化を組み合わせた勾配更新を用い、分散型で並列に計算可能であり、ImageNetのような大規模データセットにおいて、120万枚の画像におけるResNet-200の活性化の上位32個の主成分を計算するという、最先端の性能を達成している。

ABSTRACT

We present a novel view on principal component analysis (PCA) as a competitive game in which each approximate eigenvector is controlled by a player whose goal is to maximize their own utility function. We analyze the properties of this PCA game and the behavior of its gradient based updates. The resulting algorithm -- which combines elements from Oja's rule with a generalized Gram-Schmidt orthogonalization -- is naturally decentralized and hence parallelizable through message passing. We demonstrate the scalability of the algorithm with experiments on large image datasets and neural network activations. We discuss how this new view of PCA as a differentiable game can lead to further algorithmic developments and insights.

研究の動機と目的

• 各固有ベクトルを自身の利得を最大化する合理的なプレイヤーとして扱う、競争的なゲームとしてPCAを再定式化すること。
• 中央集権的な正規直交化を回避する、分散型で並列化可能なPCAアルゴリズムを開発すること。
• 大規模データセット、特にImageNetにおけるスケーラビリティと収束性を実証すること。
• PCAをナッシュ均衡としてゲーム理論的定式化する理論的・実験的裏付けを提供すること。
• 高次元設定、例えば深層ニューラルネットワークの活性化における主成分の効率的計算を可能にすること。

提案手法

• 各主成分（プレイヤー）がデータ分散と直交化に基づく利得関数を最大化する非協力的ゲームとしてPCAを定式化する。
• プレイヤーの利得を、分散最大化のためのOjaの法則と、互いの直交性を保証する一般化されたグラム・シュミット過程の組み合わせとして定義する。
• 中央集権的な調整を必要としない、局所的に計算可能な勾配更新を導出する。
• 固有ベクトルを1つずつ順番に更新する逐次的で、グローバルに収束するアルゴリズムを実装し、ナッシュ均衡への収束を保証する。
• JAXを用いてデータ並列およびモデル並列を活用し、複数のTPUデバイスに固有ベクトルの更新を分散させる。
• 直交化のブロードキャストステップにおける効率的通信のため、pmapとlax.all_gatherを用いる。

実験結果

リサーチクエスチョン

• RQ1 各固有ベクトルを合理的なプレイヤーとして、自身の利得を最大化することを目的とするゲーム理論的問題としてPCAを意味的に再解釈できるか？
• RQ2 提案されたゲーム定式化が、真の主成分に対応する安定なナッシュ均衡をもたらすか？
• RQ3 得られるアルゴリズムは、収束性や正確性を損なわずに分散型かつ並列化可能か？
• RQ4 EigenGameの性能は、Ojaの法則やGHAのような既存のストリーミングk-PCAアルゴリズムと比較してどうか？
• RQ5 フルSVDが非現実的であるような、高次元で大規模なデータセット、例えばImageNetの活性化において、この手法はスケーラブルか？

主な発見

• EigenGameは、32個のTPUv3デバイスを用いて、120万枚の画像（約2000万次元）のResNet-200の活性化の上位32個の主成分を約9時間で計算した。
• 重複する固有値を持つ「バブル」を含む実験においても、真の主成分に収束することが示された。
• バッチサイズが1024の高水準では、Ojaのアルゴリズムと同等の性能を発揮し、バッチサイズが小さい場合には勾配バイアスの影響により、他の手法との性能差が縮小した。
• ResNet-200の活性化の上位主成分は、エッジフィルタ（例：ガボール型）として解釈可能であり、PC1はより深いブロックでクラス判別特徴を捉えている。
• π/32という厳しい角方向の許容誤差でも安定で効果的であることが示され、挑戦的な設定でも収束性が保証された。
• EigenGameの分散型アーキテクチャにより、中央集権的な正規直交化の必要性が排除され、分散ハードウェア上で効率的な並列処理が可能になった。