[論文レビュー] Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search

Xiao Han, Ziwei Wang+3 more|arXiv (Cornell University)|Jun 20, 2022

Machine Learning in Materials Science被引用数 7

ひとこと要約

Shapley-NAS は、DARTS における勾配ベースのアーキテクチャパラメータの大きさの限界を克服するため、操作のモデル性能への真の寄与度を評価するためにシャプレイ値を用いる、革新的な微分可能ニューラルアーキテクチャサーチ手法を提案する。モンテカルロサンプリングによるシャプレイ値の近似と早期打ち切り、モーメンタムベースの最適化を組み合わせることで、CIFAR-10（2.43%の誤差）、ImageNet（トップ1正解率23.9%）、NAS-Bench-201ベンチマークで最先端の精度を達成し、低いサーチコストで実現した。

ABSTRACT

In this paper, we propose a Shapley value based method to evaluate operation contribution (Shapley-NAS) for neural architecture search. Differentiable architecture search (DARTS) acquires the optimal architectures by optimizing the architecture parameters with gradient descent, which significantly reduces the search cost. However, the magnitude of architecture parameters updated by gradient descent fails to reveal the actual operation importance to the task performance and therefore harms the effectiveness of obtained architectures. By contrast, we propose to evaluate the direct influence of operations on validation accuracy. To deal with the complex relationships between supernet components, we leverage Shapley value to quantify their marginal contributions by considering all possible combinations. Specifically, we iteratively optimize the supernet weights and update the architecture parameters by evaluating operation contributions via Shapley value, so that the optimal architectures are derived by selecting the operations that contribute significantly to the tasks. Since the exact computation of Shapley value is NP-hard, the Monte-Carlo sampling based algorithm with early truncation is employed for efficient approximation, and the momentum update mechanism is adopted to alleviate fluctuation of the sampling process. Extensive experiments on various datasets and various search spaces show that our Shapley-NAS outperforms the state-of-the-art methods by a considerable margin with light search cost. The code is available at https://github.com/Euphoria16/Shapley-NAS.git

研究の動機と目的

• DARTSにおける限界、すなわちアーキテクチャパラメータの大きさがモデル性能への実際の操作の重要性を信頼できる形で反映しないことに対処すること。
• 各操作のバリエーションが検証精度に与える限界的寄与度を直接測定する手法の開発。これは、操作間の複雑な相互作用を考慮したものである。
• モンテカルロサンプリングによる早期打ち切りを用いてシャプレイ値を近似することで、効率的かつ安定したアーキテクチャサーチを可能にすること。
• 操作の強度と最終的なモデル性能との相関を高め、より優れたアーキテクチャの発見を実現すること。
• CIFAR-10、CIFAR-100、ImageNet、NAS-Bench-201で最小限のサーチコストで最先端のパフォーマンスを達成すること。

提案手法

• すべての可能な操作の部分集合に対して、バリエーション精度への各操作の限界的寄与度を定量化するために、協力ゲーム理論のシャプレイ値を用いる。
• シャプレイ値のNP困難な正確な計算を効率的に近似するために、早期打ち切りを施したモンテカルロサンプリングを採用する。
• 訓練中の確率的サンプリングによる推定値の変動を安定化させるために、モーメンタム更新メカニズムを統合する。
• 推定されたシャプレイ値を根拠としてアーキテクチャ選択を行うことにより、スープネットの重みとアーキテクチャパラメータを反復的に最適化する。
• スープネット内の各操作を、バリエーション精度が部分集合によって形成されるサブネットワークのバリエーション関数として定義する協力ゲームのプレイヤーとみなす。
• 最高のシャプレイ値寄与度を示す操作を選択することで最終的なアーキテクチャを導出することにより、高いパフォーマンス相関を保証する。

実験結果

リサーチクエスチョン

• RQ1 シャプレイ値は、微分可能NASにおけるアーキテクチャパラメータの大きさよりも、操作の重要性をより信頼できる指標として提供できるか？
• RQ2 早期打ち切りを施したモンテカルロサンプリングは、ニューラルアーキテクチャサーチにおける操作寄与度の正確なシャプレイ値をどれほど効果的に近似できるか？
• RQ3 シャプレイ値に基づく操作選択は、DARTSや他の最先端手法と比較して、より優れた最終的なモデルパフォーマンスをもたらすか？
• RQ4 多様なサーチスペースにおいて、シャプレイ値に基づく操作強度と実際のテスト精度との相関はどの程度か？
• RQ5 提案手法は、CIFAR-10、ImageNet、NAS-Bench-201といった標準ベンチマークで、低いサーチコストで最先端のパフォーマンスを達成できるか？

主な発見

• Shapley-NAS は、DARTSのサーチスペースを用いてCIFAR-10で2.43%のテスト誤差率を達成し、既存手法を上回る性能を示した。
• モバイル設定下のImageNetにおいて、Shapley-NAS はトップ1正解率23.9%を達成し、大規模データセットでも優れた性能を示した。
• NAS-Bench-201において、Shapley-NAS はCIFAR-10とCIFAR-100で最適アーキテクチャを発見し、ImageNet-16-120ではほぼ最適な解を得た。
• CIFAR-10ではシャプレイ値とテスト精度のケンダールタウ相関が0.526、CIFAR-100では0.474、ImageNet-16-120では0.357に達し、DARTSよりも顕著に高い相関を示した。
• Shapley-NAS を通じて導出されたアーキテクチャパラメータは、実際のパフォーマンス寄与度を反映するよう進化し、sep_conv_5x5 や sep_conv_3x3 といった操作は、精度に最も寄与する場合にのみ優位性を示した。
• モーメンタム更新メカニズムは、確率的サンプリングプロセスの分散を効果的に低減し、より安定かつ信頼性の高いアーキテクチャサーチを実現した。